ACE ROBOTICS, dengan kerjasama Makmal Multimedia di Universiti Cina Hong Kong (CUHK) dan Institut Kawasan Loop Shenzhen, hari ini mengumumkan pelepasan sumber terbuka Kairos-HomeWorld, rangka kerja Model Dunia bersatu pertama yang mampu menjana persekitaran 3D interaktif peringkat objek skala rumah dari satu prompt teks.
Mengatasi Batasan Penjanaan Adegan Dalaman
Penyelesaian ini menangani batasan lama dalam penjanaan adegan dalaman, yang biasanya terhad kepada keluaran bilik tunggal dengan konsistensi global yang lemah dan interaktiviti terhad. Kairos-HomeWorld mengatasi kekangan ini dengan menyampaikan persekitaran kediaman yang koheren secara struktur, munasabah secara fizikal, dan berfungsi sepenuhnya. Simulasi setia tinggi berskala besar ini menyediakan asas kukuh untuk memajukan aplikasi kecerdasan terbenam dan mempercepat latihan robot dunia sebenar.
Visi Jangka Panjang untuk Kecerdasan Terbenam
Visi jangka panjang untuk kecerdasan terbenam adalah persekitaran rumah. Namun, persekitaran kediaman sememangnya pelbagai dan sangat diperibadikan, memerlukan robot dilatih merentasi pelbagai senario realistik dan berbeza sebelum mereka boleh beroperasi dengan pasti di satu rumah. Simulasi setia tinggi menawarkan laluan paling praktikal untuk mencapai ini pada skala, tetapi pendekatan sedia ada biasanya melibatkan pertukaran: persekitaran sintetik kurang realisme, manakala adegan dunia sebenar yang diimbas menawarkan interaktiviti terhad. Kairos-HomeWorld, bersama dengan set datanya, direka untuk merapatkan jurang ini, menyampaikan persekitaran realistik dan interaktif dalam rangka kerja bersatu.
Seni Bina Empat Peringkat untuk Penjanaan Seluruh Rumah Peringkat Objek
Pendekatan konvensional untuk penjanaan adegan dalaman kekal terhad kepada keluaran bilik tunggal, sering menunjukkan konsistensi global yang lemah, ketidaktepatan fizikal yang kerap, dan interaktiviti terhad atau tiada. Kairos-HomeWorld mengambil pendekatan yang berbeza secara asas. Ia menguraikan penjanaan seluruh rumah ke dalam proses empat peringkat berstruktur, mentakrifkan semula paradigma seni bina dari bawah ke atas.
Peringkat 1 — Penjanaan Pelan Lantai
Pendekatan berasaskan pokok K-D menterjemah pelan lantai dunia sebenar ke dalam perwakilan teks hierarki yang boleh diproses dengan cekap oleh model bahasa besar. Kaedah ini mengurangkan isu biasa dalam penjanaan susun atur konvensional, termasuk pertindihan bilik dan topologi berpecah, menghasilkan konfigurasi spatial yang lebih koheren dan konsisten secara struktur.
Peringkat 2 — Angkat 2D ke 3D & Penjanaan Susun Atur Perabot
Pendekatan "inisialisasi global atas ke bawah digabungkan dengan walkthrough terperinci orang pertama" menambat proses ke cangkang bangunan 3D yang dijana di Peringkat 1. Metodologi ini mengurangkan hanyut geometri yang biasa dikaitkan dengan teknik angkat 2D ke 3D konvensional, membolehkan penjanaan adegan yang lebih stabil dan konsisten secara spatial.
Peringkat 3 — Penghalusan Rekursif
Model bahasa-visi yang ditala halus melakukan pengesahan dan pembetulan berulang, secara automatik mengenal pasti dan menyelesaikan ketidakkonsistenan fizikal, seperti pintu yang terhalang atau perlanggaran objek. Proses rekursif ini mengurangkan kesilapan spatial secara material, mencapai antara kadar perlanggaran perabot yang paling rendah dalam industri.
Peringkat 4 — Penempatan Objek Boleh Manipulasi
Algoritma penempatan berpusatkan permukaan memberikan setiap objek sifat fizikal terperinci, termasuk komposisi bahan, ketumpatan, geseran, dan hubungan sokongan struktur. Setiap adegan yang dijana menggabungkan purata lebih daripada 15 objek boleh manipulasi dan mencapai Kepadatan Objek Tapak sebanyak 4.16, metrik yang mencerminkan kepekatan item di permukaan perabot. Semua objek serasi secara asli dengan enjin simulasi, membolehkan interaksi langsung untuk tugas seperti mencengkam, menggerak, dan menyusun.
Set Data: 300,000 Pelan Lantai Sebenar, 5,000 Rumah Interaktif
ACE ROBOTICS dan CUHK membuka sumber set data sebanyak 300,000 pelan lantai kediaman beranotasi struktur, yang diperoleh daripada penyenaraian dunia sebenar dan diproses melalui saluran paip automatik pelbagai peringkat. Saluran paip ini memvektorkan dan melabel elemen spatial utama, termasuk kedudukan pintu dan tingkap, geometri bilik, pengezonan fungsi, dan sambungan. Sebagai perbandingan, penanda aras yang digunakan secara meluas seperti RPLAN dan ResPlan mengandungi kira-kira 80,000 dan 17,000 pelan lantai, menekankan skala dan kesejagatan set data Kairos-HomeWorld.
Berdasarkan asas ini, set data juga termasuk 5,000 persekitaran kediaman lengkap berperabot, setiap satu menampilkan susun atur perabot lengkap dan purata lebih daripada 15 objek boleh manipulasi berkeupayaan fizik, dikuasakan oleh model PhysX-Omni. Semua aset sedia simulasi dan boleh diimport terus ke enjin simulasi, membolehkan penggunaan segera dalam senario latihan interaktif.
Fokus pada Isi Rumah Cina
Kebanyakan set data adegan dalaman terbuka sedia ada berpusat pada format kediaman Amerika Utara dan Eropah, biasanya menampilkan dapur pelan terbuka, ketiadaan balkoni perkhidmatan, dan susun atur serta elemen reka bentuk yang hanya menangkap segmen sempit perumahan global. Akibatnya, robot yang dilatih pada set data ini sering menunjukkan kebolehtransferan terhad apabila digunakan dalam persekitaran di luar skop mereka. Set data Kairos-HomeWorld dibina khusus untuk isi rumah Cina, dengan liputan sengaja terhadap tipologi perumahan yang kurang diwakili secara sejarah. Ia merangkumi pelbagai saiz unit, dari pangsapuri studio kira-kira 30 m² hingga kediaman melebihi 200 m². Set data ini mencerminkan dengan tepat ciri seni bina utama yang biasa dalam persekitaran ini, termasuk susun atur pengudaraan silang utara-selatan, dapur tertutup, balkoni perkhidmatan khusus, bilik mandi basah dan kering berasingan, dan storan pintu masuk, serta konfigurasi bilik tidak teratur yang sering dijumpai di stok perumahan lama.
Aplikasi dan Kesan Industri
Kairos-HomeWorld kini digunakan dalam aliran kerja latihan kecerdasan terbenam ACE ROBOTICS, membolehkan simulasi saluran paip penuh tugas rumah tangga jangka panjang, termasuk navigasi merentas bilik dan mengemas pelbagai bilik. Dengan membolehkan robot berlatih urutan tugas lengkap dalam persekitaran maya, platform ini memendekkan kitaran pemindahan simulasi ke realiti dengan ketara. Pendekatan ini mengurangkan halangan untuk membangunkan sistem kecerdasan terbenam dan menyokong penggunaan berskala besar robot rumah yang dipercepat, terutamanya dalam pasaran Cina.
Kairos-HomeWorld kini tersedia di GitHub.
