現(xiàn)實(shí)版「黑客帝國」來了！

剛剛，一個(gè)融合未來人機(jī)共生藍(lán)圖的虛擬平臺悄然上線，它或?qū)氐赘淖兾覀兝斫馊祟惡臀磥鞟I、機(jī)器人共生的方式！

這個(gè)平臺名為虛擬社區(qū)（Virtual Community），由通用物理引擎Genesis驅(qū)動(dòng)，基于真實(shí)三維世界構(gòu)建，是一個(gè)開放給人類、機(jī)器人與整個(gè)社會的沉浸式實(shí)驗(yàn)場。

背后的目標(biāo)，直指一個(gè)關(guān)鍵命題：在未來的真實(shí)世界中，人類和AI如何共存？

這個(gè)世界模擬器將顛覆你的想象——人類、機(jī)器人及其鮮活的社會形態(tài)，正在全球三維真實(shí)地理空間場景中，栩栩展開！

在這里，人類角色與機(jī)器人智能體可以在從倫敦到紐約、乃至更廣闊的開放世界里互動(dòng)、成長、共同演進(jìn)！

不久的將來，人類與機(jī)器人將共存于世。

「虛擬社區(qū)」項(xiàng)目亮點(diǎn)令人振奮，這是未來的一次提前預(yù)演——

1. 它是一個(gè)開源的多智能體物理模擬器，不僅能真實(shí)模擬人與機(jī)器人之間的互動(dòng)，還覆蓋了室外城市街區(qū)、室內(nèi)復(fù)雜空間、甚至完整社區(qū)結(jié)構(gòu)。

2. 平臺中智能體角色豐富，外觀各異，為研究帶來極大多樣性。

3. 首次引入兩個(gè)前沿任務(wù)：

• 多智能體活動(dòng)任務(wù)：衡量如何建立聯(lián)系、影響他人；
• 多智能體社區(qū)助手任務(wù)：測試機(jī)器人在協(xié)作推理與規(guī)劃中的實(shí)際能力。

來自馬薩諸塞大學(xué)阿默斯特分校、約翰霍普金斯大學(xué)和卡內(nèi)基梅隆大學(xué)的研究者共同探討了未來世界中，人、機(jī)器人以及整體社會是如何協(xié)作共生的。

論文地址：https://virtual-community-ai.github.io/paper.pdf

開源地址：https://github.com/UMass-Embodied-AGI/Virtual-Community

項(xiàng)目主頁：https://virtual-community-ai.github.io/

下面這張圖，揭開了「虛擬社區(qū)」背后真正的秘密武器——它的生成流程框架。

這個(gè)框架不僅重構(gòu)了現(xiàn)實(shí)世界的數(shù)字映射，更將AI與地理信息系統(tǒng)、生成模型和大語言模型（LLMs）無縫融合，打造出一個(gè)前所未有的社會智能實(shí)驗(yàn)場。

該框架核心模塊有三個(gè)：

1. 場景生成組件：從真實(shí)地理信息數(shù)據(jù)出發(fā)，通過生成模型在線增強(qiáng)紋理、簡化幾何結(jié)構(gòu)，讓粗糙的3D數(shù)據(jù)煥然一新。更妙的是，它還能創(chuàng)造出交互式對象和高度還原的室內(nèi)細(xì)節(jié)。

2. 智能體生成組件：基于LLM，從場景描述中自動(dòng)構(gòu)建出豐富的角色設(shè)定及其社會關(guān)系網(wǎng)絡(luò)，每一個(gè)智能體都不是「孤島」，而是社區(qū)關(guān)系鏈的一環(huán)。

3. Genesis引擎模擬：最終，這些生成的場景和角色被統(tǒng)一接入Genesis引擎，在開放世界中實(shí)現(xiàn)真實(shí)社區(qū)和機(jī)器人互動(dòng)模擬。

一句話：這不是簡單的虛擬建模，而是一個(gè)由AI賦能、可不斷自我演化的「數(shù)字社會孵化器」。

未來的人機(jī)共居社會，或許就從這里悄然長出第一片綠芽。

Virtual Community虛擬社區(qū)

虛擬社區(qū)將地理空間數(shù)據(jù)與生成模型相結(jié)合，以創(chuàng)建具有社交基礎(chǔ)的智能體社區(qū)的交互式、可擴(kuò)展的開放世界場景。

可擴(kuò)展的仿真就緒場景

盡管現(xiàn)有3D地理空間數(shù)據(jù)API數(shù)量眾多、類型豐富，卻因噪聲太多、街道視覺質(zhì)量不足而難以直接用于具身AI模擬。

原因在于：原始數(shù)據(jù)中混雜著行人、車輛等臨時(shí)物體，還有不真實(shí)的地形起伏；而且這些場景大多由航拍圖像重建而成，缺乏從地面視角所需的紋理與幾何細(xì)節(jié)。

為解決這些痛點(diǎn)，研究團(tuán)隊(duì)提出了一條全新的在線流水線，專為具身AI模擬打造。

該流程包括四大步驟——網(wǎng)格簡化、紋理優(yōu)化、對象放置與自動(dòng)標(biāo)注，旨在徹底清理并增強(qiáng)原始數(shù)據(jù)，使其既真實(shí)又適配AI交互。

目前，團(tuán)隊(duì)已通過這一流水線構(gòu)建了涵蓋全球多個(gè)城市的35個(gè)帶標(biāo)注高質(zhì)量場景。

這一次，真實(shí)世界的復(fù)雜性與AI模擬的嚴(yán)謹(jǐn)性，終于找到了理想的連接方式。

一個(gè)完全自動(dòng)化的在線流程，利用真實(shí)世界地理空間數(shù)據(jù)和生成模型創(chuàng)建3D場景。

基于真實(shí)世界的地理空間場景，地理空間數(shù)據(jù)確保了戶外3D場景的多樣性和規(guī)模。

· 實(shí)現(xiàn)自動(dòng)語義標(biāo)注，場景中自動(dòng)標(biāo)注的位置和物體。

· 交互式室內(nèi)場景與物體根據(jù)位置標(biāo)注創(chuàng)建的室內(nèi)場景和物體。

智能體社區(qū)

研究團(tuán)隊(duì)成功借助大語言模型，實(shí)現(xiàn)了基于場景的智能體角色與社交網(wǎng)絡(luò)自動(dòng)生成系統(tǒng)。

只需輸入場景信息與角色外觀細(xì)節(jié)，LLM就能生成包含姓名、年齡、職業(yè)、個(gè)性與愛好的完整角色檔案，并自動(dòng)構(gòu)建他們之間的社交群組。

每個(gè)群組都對應(yīng)特定活動(dòng)場所，模擬真實(shí)社區(qū)互動(dòng)，打造出一個(gè)有機(jī)社交生態(tài)。

更厲害的是，為確保生成角色的準(zhǔn)確性，系統(tǒng)還引入了「關(guān)聯(lián)驗(yàn)證器」機(jī)制，一旦發(fā)現(xiàn)地點(diǎn)引用有誤，LLM會根據(jù)反饋?zhàn)詣?dòng)修復(fù)！

角色視覺形象也同樣不含糊：通過整合Mixamo的20款通用皮膚與AvatarSDK的高保真現(xiàn)實(shí)建模，系統(tǒng)已支持跨五大領(lǐng)域的62位名人形象生成，連真人照片都能轉(zhuǎn)為虛擬角色！

· 利用基礎(chǔ)模型和真實(shí)世界標(biāo)注生成社區(qū)，使用Genesis物理引擎進(jìn)行模擬

· 智能體社區(qū)生成，由LLM驅(qū)動(dòng)的個(gè)性化社交檔案

· 自動(dòng)駕駛交通系統(tǒng)，行人流量、車流、公共交通系統(tǒng)

人機(jī)交互，虛擬社區(qū)依托Genesis實(shí)現(xiàn)了物理上逼真的機(jī)器人交互，還能實(shí)現(xiàn)機(jī)器人模擬與可視化接觸。

豐富的機(jī)器人智能體

除真實(shí)的仿真場景和智能體以外，還有豐富的機(jī)器人智能體。

· Bitcraze Crazyflie 2

· UniTree H1

· UniTree Go2

· Husky Robot

· Boston Dynamics Spot

· Google Robot

社交與物理交互

在這個(gè)數(shù)字世界，人與人、人與機(jī)器、機(jī)器與機(jī)器的社交同樣遵循真實(shí)物理世界規(guī)律。

有時(shí)，你會看到三三兩兩的人站在在街頭聊天。

或者，一起在廣場上跳舞。

人們可以在街上「遛」機(jī)器狗。

甚至還可以和機(jī)器人做互動(dòng)。

場景化智能體社區(qū)模擬器支持輸入經(jīng)緯度創(chuàng)建對應(yīng)的多樣化世界，包括大規(guī)模3D環(huán)境和基于場景的智能體社區(qū)，比如：

· 佛羅倫薩

· 馬德里

· 丹佛

· 倫敦

·  紐約

·  阿姆斯特丹

基于真實(shí)世界的地理空間場景

以下空間場景完全基于真實(shí)世界構(gòu)建。

作者介紹

Virtual Community是首個(gè)基于真實(shí)三維世界構(gòu)建的開放給人類、機(jī)器人與整個(gè)社會的沉浸式實(shí)驗(yàn)場。 

由UMass研究者基于通用物理引擎Genesis重磅打造，重新定義具身智能社會化研究。

作者希望虛擬社區(qū)能推動(dòng)具身AI研究朝著具備處理現(xiàn)實(shí)世界復(fù)雜性并與人類社區(qū)共存的具身通用智能發(fā)展。

虛擬社區(qū)中提出的開放世界模擬框架為研究具身智能體的社會智能開辟了多個(gè)有意義但具有挑戰(zhàn)性的研究方向。

Qinhong Zhou（周沁泓）

周沁泓是麻省大學(xué)阿默斯特分校（UMass Amherst）的博士生，師從淦創(chuàng)教授。

他的研究方向是AI智能體與人類及其他智能體之間的對齊、合作與決策能力。研究領(lǐng)域涵蓋具身AI模擬、多智能體/模型協(xié)作、LLM對齊和知識蒸餾等。

目標(biāo)是使人工智能系統(tǒng)能夠在物理世界中與人類價(jià)值觀保持一致，促進(jìn)人機(jī)之間以及各人工智能智能體之間的更有效協(xié)作。

Hongxin Zhang (張洪鑫)

張洪鑫是麻省大學(xué)阿默斯特分校計(jì)算機(jī)科學(xué)專業(yè)的二年級博士生，師從淦創(chuàng)教授。

目前正在從事AI方面的研究，嘗試通過構(gòu)建與人類相似的智能系統(tǒng)來加深對人本身的理解。

研究興趣在于具身智能，尤其是如何利用基礎(chǔ)模型構(gòu)建更優(yōu)秀的智能體，以增強(qiáng)它們的推理與規(guī)劃能力、社交互動(dòng)能力，并使其更接近人類。

Chuang Gan（淦創(chuàng)）

淦創(chuàng)現(xiàn)任教于麻省大學(xué)阿默斯特分校，同時(shí)擔(dān)任MIT-IBM沃森人工智能實(shí)驗(yàn)室的研究經(jīng)理。

此前，他曾在麻省理工學(xué)院從事博士后研究，合作導(dǎo)師為Antonio Torralba教授、Daniela Rus教授及Josh Tenenbaum教授。

他博士畢業(yè)于清華大學(xué)，師從姚期智院士，并榮獲博士畢業(yè)生最高榮譽(yù)。

他的研究方向?yàn)橛?jì)算機(jī)視覺、人工智能、認(rèn)知科學(xué)與機(jī)器人學(xué)的交叉領(lǐng)域，最終目標(biāo)是構(gòu)建能夠在物理世界中感知、推理與行動(dòng)的類人自主智能體。

他的研究成果曾獲微軟學(xué)者獎(jiǎng)，百度學(xué)者獎(jiǎng)。