具身智能被視為當前人工智能領域最具潛力的方向之一，重點關注智能體感知、學習和與環境動態交互的能力。

近年來，具身智能發展迅猛，在多個領域取得突破進展。然而，當前大多數具身智能研究聚焦于有限環境如室內場景中，針對城市級別開放真實世界場景的探索較為匱乏，急需構建相應的模擬平臺和基準測試集。

近日，清華大學城市科學與計算研究中心開放發布基于虛幻引擎5的城市具身智能模擬環境EmbodiedCity，基于真實城市開放場景打造3D城市環境，并進一步針對不同維度和水平的開放空間具身智能能力，構建相應的任務集和數據集，可支撐真實開放空間具身智能的多類研究任務。

官方網站：https://embodied-city.fiblab.net/

開發文檔：https://github.com/tsinghua-fib-lab/EmbodiedCity

該平臺提供離線運行和在線接入兩種方式，既可以下載在不同操作系統本地環境運行，也可以訪問智能體在線平臺，基于Python SDK調用開發智能體，在平臺網頁直接編程使用。

EmbodiedCity模擬環境

EmbodiedCity以北京市國貿區域的真實道路和建筑布局為基礎，結合人流和車流的真實數據與模擬算法，基于虛幻引擎5（Unreal Engine 5）構建了一個真實、動態、開放的城市具身環境。

環境中主要包含以下元素：

（1）街道：機動車/非機動車道、十字路口、交通信號燈和人行道，街道布局合理多樣。

（2）建筑物：辦公樓、購物中心、住宅小區等，細粒度建模還原真實建筑。

（3）其他元素：長椅、路燈、植被以及動態的車輛和行人，城市場景充滿活力。

城市具身智能任務基準測試集

為充分探索開放環境具身智能體的感知、推理和決策能力，EmbodiedCity構建了一系列評測任務，既包括代表性的具身任務，涵蓋行人模擬、車流模擬、場景理解、問答、對話、導航和規劃，也支撐傳統的感知、預測、決策等任務。

其中，針對開放空間具身智能構建的任務集如下：

1. 跨模態場景理解：智能體觀察環境元素并給出準確描述，通過在同一位置從不同角度觀察，生成一組RGB圖像作為輸入，得到相應的文本描述。

2. 跨模態問答：在具身場景理解的基礎上，智能體接收有關環境語義和空間信息的自然語言問詢，例如，「場景中有多少個建筑？」以及「在當前視角下A建筑是否在B建筑的左邊？」輸入包括第一視角的RGB圖像和有關環境的問題，對問題進行直接文本回答。

3. 多輪對話：具身對話涉及智能體與用戶之間的持續互動，需要維持上下文和理解對話流。例如，「后方中有多少棵樹？-> 它們分別是什么顏色的？」任務的輸入包括具身觀察和多輪查詢，得到多輪響應。

4. 具身導航/搜索：智能體根據自然語言指令在環境中進行具身導航，輸入結合了視覺感知和自然語言指令，以引導智能體通過復雜環境進行實時感知、推理、決策。任務輸出是環境中的行動序列。

5. 任務規劃：智能體需要能夠將復雜且長期的具身任務目標拆分為多個子任務，例如，「我需要去便利店購物，但我不知道怎么走，應該怎么做？」輸入包括第一視角的觀察和自然語言描述的任務目標，輸出是智能體所規劃、拆解的一系列子任務。

6. 個體行為模擬：對于行人、車輛、無人機等不同類型的智能體，需要基于第一視角的觀察和當前任務規劃，生成與真實個體類似、符合真實個體規律和模式的行為與動作，該任務依賴于上述任務所體現的開放世界中的感知、規劃、決策等具身智能能力。

平臺使用方法

 EmbodiedCity同時提供在線使用和離線運行兩種智能體部署方式。

1. 在線使用

用戶可以通過在平臺官方網站（embodied-city.fiblab.net）申請API Key，獲得授權后即可控制接管已經實時在線部署的智能體。在線平臺提供鍵盤控制和指令控制等多種智能體操作方式，用戶可以在網頁以第一視角游覽城市環境。平臺還提供了完善的智能體控制Python SDK以供調用開發，用戶可以在平臺網頁直接編程使用。

2. 離線運行

用戶可以下載離線模擬環境，在本地部署后進行智能體的訓練和測試，平臺提供適用于Windows、Linux、macOS等不同類型操作系統的相應版本，方便模擬環境的快速部署和測試。