李飛飛吳佳俊團隊新作：推出具身智能決策能力評價基準，o1-preview登頂 | NeurIPS
大模型的具身智能決策能力，終于有系統的通用評估基準了。
李飛飛吳佳俊團隊新提出的評估框架，對具身智能決策的四項關鍵子能力來了個全面檢查。
這套基準已經被選為了NeurIPS數據和測試集（D&B）專欄Oral論文，同時也被收錄進了PyPI，只要一行代碼就能快速調用。
該框架名為Embodied Agent Interface（簡稱EAI），提供了連接不同模塊和基準環境的標準接口。
利用這套框架，作者對18款主流模型進行了測試，形成了一篇超百頁的論文。
測試結果顯示，在已公開的大模型當中，o1-preview的綜合成績位列第一。
李飛飛本人表示，對這項合作研究感到非常興奮。
有網友評價說，這項成果為大模型具身智能決策塑造了未來。
四項子能力全面評估
首先，EAI提供了一種統一的目標表示方法，能夠兼容不同類型的目標，并支持復雜約束的描述。
團隊認為，現有的具身決策任務通常針對特定領域設計目標，缺乏一致性和通用性。
例如，BEHAVIOR和VirtualHome都是具身智能體的評測基準和模擬環境，用于研究智能體在復雜環境中完成任務的能力。
但二者又有所區別，BEHAVIOR使用基于狀態的目標，而VirtualHome使用時間擴展的目標。
EAI則通過引入線性時態邏輯（LTL），實現了目標表示方式的統一，提高了模塊之間的互操作性，便于比較不同模型在同一任務上的表現。
在具體的評估過程當中，EAI采用了模塊化的評估方式，并將評估指標進行了更細粒度的劃分。
以往的研究通常將大模型作為整體進行評估，很少關注其在具身決策各個子任務上的表現；
同時，這些現有基準通常只關注任務的最終成功率，很少深入分析模型的錯誤類型和原因。
為了更深入理解大模型的行為模式和優劣勢分布，EAI提出了四個關鍵能力模塊，并設計了一系列細粒度的評估指標：
- 將模型能力分為四個關鍵模塊；
- 定義了清晰的輸入輸出接口；
- 從軌跡可執行性、目標滿足度、邏輯匹配性等多個角度評估模型的性能；
- 引入了豐富的注釋（如目標狀態、關系、動作），以實現自動化的錯誤分析。
具體來說，四個關鍵模塊及內容分別是：
- 目標解釋（Goal Interpretation）：將自然語言表述的任務目標轉化為形式化的LTL目標公式；
- 子目標分解（Subgoal Decomposition）：將任務目標分解為一系列子目標，每個子目標也用LTL公式表示；
- 動作序列規劃（Action Sequencing）：根據任務目標生成動作序列，在環境中執行以達成目標狀態；
- 轉換建模（Transition Modeling）：為每個動作或操作符生成前提條件和效果，形成環境轉換模型。
另外，EAI選取了兩個具有代表性但特點迥異的環境，也就是前面提到的BEHAVIOR和VirtualHome。
相比于單一環境評估，EAI更能考察大模型跨領域的泛化能力，有助于全面理解其適用范圍和局限性。
o1-preview綜合成績第一
利用EAI這套標準，研究團隊對GPT、Claude、Gemini等18款主流模型（型號）的決策能力進行了評估。
在BEHAVIOR和VirtualHome環境下，o1-preview均獲得了排行榜綜合成績第一名。
其中在BEHAVIOR環境中，o1-preview得分為74.9，比第二名的Claude 3.5 Sonnet高了10多分，排在之后的是60分左右的Claude 3 Opus和GPT-4o。
到了VirtualHome環境下，依然是o1-preview領先，但前三名的成績相對接近。
同時Gemini 1.5 Pro變成了第二名，不過整體來看排行靠前的幾個模型和BEHAVIOR環境類似。
當然如果比較單項能力，不同模型也體現出了各自不同的優勢項目。
比如在BEHAVIOR環境中，總分排第二的Claude 3.5 Sonnet，目標解釋能力略高于總分排第一的o1-preview。
在VirtualHome環境中，總分相對靠后的Mistral Large，在動作序列規劃上取得了第一名。
作者還對各模型的失敗情況進行了深入分析，發現了將中間狀態誤識別為最終目標狀態、對隱含的物理關系理解不足、忽略重要的前提條件等具體問題。
這些發現能夠讓研究人員對模型的優缺陷進行更深層的了解，為之后的研究提供了重要參考。
項目主頁：https://embodied-agent-interface.github.io/
論文：https://arxiv.org/abs/2410.07166
代碼：https://github.com/embodied-agent-interface/embodied-agent-interface
數據集：https://huggingface.co/datasets/Inevitablevalor/EmbodiedAgentInterface
