超逼真的機器人小鎮(zhèn)來了！

在這里，機器人可以像人一樣在超市里購物：

買菜回家做飯：

在辦公室里接咖啡（旁邊還有人類同事）：

圖片

不只有人形機器人，機器狗、臂式機器人也在這個“城市”里穿梭自如。

圖片

這就是由上海AI實驗室最新提出的首個模擬交互式3D世界：GRUtopia（中文名：桃源）。

在這里，由多達100k個交互式、帶精細注釋的場景自由組合成逼真城市環(huán)境。

包含室內室外，餐廳、超市、辦公室、家庭等89個不同場景類別。

圖片

由大模型驅動的NPC，可以在這個世界里和機器人對話交互。

圖片

這樣一來，各種機器人能在虛擬小鎮(zhèn)里完成各種行為模擬，也就是最近流行的Sim2Real路線，能大幅降低具身智能現(xiàn)實世界數(shù)據(jù)收集難度和成本。

該項目計劃開源，現(xiàn)階段在GitHub上已提供demo安裝指南。

安裝成功后，就能在demo里控制一個人形機器人在房間內活動，并支持調整不同視角。

圖片

機器人的虛擬桃源

其核心工作共有三項：

• GRScenes
• GRResidents
• GRBench

其中，GRScenes是一個包含大規(guī)模場景數(shù)據(jù)的數(shù)據(jù)集。

它極大程度上擴展了機器人可以活動和操作的環(huán)境范圍，此前的工作更聚焦于家庭場景。

該研究表示，他們的目標是將通用機器人的能力擴展到各種服務場景，比如超市、醫(yī)院等。同時覆蓋室內室外環(huán)境，包括游樂園、博物館、展覽館等。

對于各個場景，他們都進行了精細高質量建模，100 個場景包含 96 個類別的 2956 個交互式物體和 22001 個非交互式物體。

圖片

GRResidents是一個NPC系統(tǒng)。

它由大模型驅動，同時對模擬環(huán)境中的場景信息非常了解。因此NPC可以推斷物體之間的空間關系，參與動態(tài)對話和任務分配。

借助于這個系統(tǒng)，GRUtopia可以生成海量場景任務供機器人完成。

圖片

通過與人類進行交叉驗證，NPC系統(tǒng)在描述和定位對象上的準確率都不錯。

在描述實驗中，讓NPC系統(tǒng)隨機選擇一個物體進行描述，人類能找到對應物體就算成功。

在定位實驗中則反過來，如果NPC系統(tǒng)能根據(jù)人類給出的描述找到對應物體就算成功。

圖片

調用不同大模型的成功率不盡相同，綜合來看GPT-4o的表現(xiàn)最好。

圖片

GRBench是一個評估具身智能表現(xiàn)的benchmark。

它包含3個基準，涉及目標定位導航（Object Loco-Navigation）、社交定位導航（Social Loco-Navigation）和定位操作（Loco-Manipulation），這三種評估的難度逐漸遞增。

圖片

為了分析NPC和控制API的性能，研究提出了基于LLM和VLM的基線，以驗證基準設計的合理性。

圖片

實驗結果表明，與隨機策略相比，在所有基準測試中，使用大型模型作為后端代理的表現(xiàn)都更好。

而且Qwen-VL在對話上的表現(xiàn)超過了GPT-4o。

圖片

最后整體對比來看，GRUtopia其他平臺在各個維度上都更強大。

圖片

該研究工作由上海人工智能實驗室OpenRobot Lab領銜。

該實驗室聚焦研究具身通用人工智能，致力于構建軟硬虛實一體化的通用機器人算法體系。

今年5月，該團隊還發(fā)布了具身多模態(tài)大模型Grounded 3D-LLM，能夠自動化生成物體到局部區(qū)域的場景描述與具身對話數(shù)據(jù)，有效緩解了目前三維場景理解的局限性。

圖片

論文地址：https://arxiv.org/abs/2407.10943

GitHub地址：https://github.com/openrobotlab/grutopia?tab=readme-ov-file