「AI的下一個前沿將是『基礎智能體』（Foundation Agent）——一個掌握廣泛技能，控制許多身體，并能夠泛化到多個環境中的單一算法」。

等了三個月，英偉達高級科學家Jim Fan在TED AI 2023上的演講視頻終于上線了。

視頻中，Jim Fan提出了「Foundation Agent」，一個可以在虛擬世界和現實世界里泛化的通用智能體模型。

他具體解釋了，這項技術將如何從根本上改變我們的生活，進入到從視頻游戲和元宇宙，到無人機、仿人機器人的方方面面，并探討了單一模型如何掌握跨越這些不同現實的技能。

Jim Fan認為，「基礎智能體」應該在3個維度上進行擴展：

- 技能：能解決的任務數量；

- 具身：能控制的身體形態的多樣性；

- 現實：智能體能掌握的虛擬或物理空間的數量。這包括有不同規則的游戲、模擬和真實世界場景。

我們為什么想要一個單一的「基礎智能體」，而不是許多更小的模型？

在每個AI領域的發展歷史中，都能發現這樣模式：從專家模型 -> 通用模型 -> 專業化的通用模型。

這里的「專業化的通用模型」通常遠比原先的專家模型更強大，就像 LlaMA 的精煉版本遠超過5年前的定制化NLP系統一樣。

此外，Jim Fan本人還分享了演講時的心得。

「在TED演講時，我腳下只有一個「信心」顯示器，只顯示當前的幻燈片和計時器。這意味著我需要完全記住整段演講。一開始讓我很擔心，但事實證明，這是與聽眾建立聯系，直接觸及他們心靈的最佳方式」。

值得一提的是，Jim Fan還公開了這次演講的PPT，一起看看這場演講的精彩亮點吧。

TED演講全文

2016年的春天，我坐在哥倫比亞大學的一間教室里，并沒有專心聽講。相反，我正用電腦觀看一場棋盤游戲錦標賽。

這不是一場普通的比賽，而是一場非常、非常特別的比賽——AlphaGo與李世石開啟對決。

這場比賽，AI在五盤棋中贏了三盤，成為有史以來第一個在圍棋比賽中擊敗人類冠軍的「棋手」。

到現在，我仍然記得那天自己見證歷史的激動心情。AI智能體終于進入主流的時刻。

但當興奮褪去后，我意識到，AlphaGo雖然強大，但它只能做一件事，而且只能做一件事。

它無法玩任何其他游戲，比如《超級馬里奧》、《我的世界》，當然也不能幫你洗臟衣服，或今晚為你做一頓豐盛的晚餐。

我們真正想要的是：像機器人Wall-E那樣多才多藝的AI智能體，像《星球大戰》中的各種各樣機器人的載體或化身。

又或是像《頭號玩家》一樣，可以跨越無限的虛擬或現實世界。

那么我們如何在不久的將來實現這些科幻想法呢?

如下左圖是邁向通用AI智能體的一個實踐者指南。當前的大多數研究工作按以下三個維度展開：

AI智能體可以掌握的技能數量；可以控制的身體形態或載體；以及它所能掌握的現實情況。AlphaGo就在左下角的位置，但右上角才是我們真正要達到的目標。

Voyager玩轉「我的世界」

接下來，讓我們一次看一個維度。

今年早些時候，我帶領了「Voyager」項目，這是一個能在多種技能上大規模擴展的智能體。沒有任何游戲能比《我的世界》更好地支持無限的創造性玩法。

這有一個有趣的事實：《我的世界》現在有1.4億活躍玩家。這個數字相當于英國人口的2倍多。

這款游戲之所以如此受歡迎，是因為它是開放式的：沒有固定的游戲情節，你可以在游戲中做任何想做的事情。

當我們讓Voyager在《我的世界》中自由活動時，會發現它可以在沒有任何人干預的情況下，連續玩上幾個小時的游戲。

這段視頻展示了Voyager在一次游戲中連續行動的片段。

它可以探索地形，開采各種材料，與怪物戰斗，制作數百種配方，并解鎖一個不斷擴展的技能樹。

那么，其中的奧妙是什么呢？核心要義是「編碼即行動」。

首先，我們使用社區制作的Minecraft JavaScript API將3D世界轉換為文本表示。Voyager調用GPT-4，用JavaScript編寫代碼片段，這些代碼片段將成為游戲中的可執行技能。

然而，就像人類工程師一樣，Voyager也會犯錯。它并不總是在第一次嘗試時，就正確地完成程序。

因此，我們為它添加了一個「自我反思」機制，以便改進。

「自我反思」有三個反饋來源：JavaScript代碼執行錯誤；智能體狀態，如健康和饑餓；以及世界狀態，如附近的地形和敵人。

因此，Voyager會執行一個動作，觀察這個動作對世界和自身的影響，反思如何才能做得更好，并嘗試一些新的行動方案，然后不斷重復。

一旦技能成熟，Voyager就會把它保存到技能庫中，作為一種持久的記憶。

你可以把技能庫看作一個完全由語言模型編寫的代碼庫。

通過這種方式，Voyager在《我的世界》中探索和實驗過程中，能夠以遞歸的方式擴展自身的能力。

讓我們一起看個例子。

Voyager發現自己很餓，需要盡快獲得食物。它檢測到附近有四個實體：一只貓、一個村民、一頭豬和一些小麥種子。

Voyager開始了內心獨白：「我要殺死貓，還是村民來獲取食物？這主意糟透了。小麥種子如何？我可以用種子種植農場，但那需要很長時間。對不起，小豬，你被選中了」。

隨后，Voyager在它的物品欄中發現了一塊鐵。

于是，它從技能庫中回想起了一個舊技能來制作鐵劍，并開始學習一個新技能「獵豬」。現在我們也知道，不幸的是，Voyager不是素食主義者。

還有一個問題：Voyager如何無限期地探索下去？

我們只給了它一個高級指令，那就是盡可能多地獲取獨一無二的物品。

Voyager自己實現了一個curriculum：主動找到逐步更難、更新穎的挑戰來解決。

將所有這些整合在一起，Voyager不僅能掌握，還能在過程中發現新的技能。而我們沒有預先編程任何內容，一切都是Voyager的主意。

當一個智能體永遠充滿好奇心，永遠追求新的探險，這就是我們所說的終身學習。與AlphaGo相比，Voyager能做的事情非常多，但仍只能在《我的世界》中控制一個身體。

MetaMorph讓AI有多個身體

那么問題來了：我們能否有一個可以在不同載體上工作的算法？一起來看MetaMorph，這是我在斯坦福共同開發的一個項目。

我們創建了一個基礎模型，它不僅能控制一個機器人，還能控制數千個手臂和腿部配置各異的機器人。

Metamorph能夠處理來自不同機器人身體的各種運動特征。

如下我們如何創建MetaMorph的直觀方法。首先，我們設計一個特殊的詞來描述身體部件，這樣每個機器人本質上就是用這種詞寫成的一句話。

然后，我們對其應用Transformer，就像ChatGPT一樣，但MetaMorph寫出的不是文本，而是運動控制。

我們展示了MetaMorph能夠控制成千上萬個機器人上下樓梯、穿越復雜地形，避開障礙物。

放眼未來，如果我們可以大大擴展這個機器人詞匯量，我設想MetaMorph 2.0將能夠泛化到機器手、人形機器人、狗、無人機甚至更多領域。

與Voyager相比，MetaMorph在多體控制方面邁出了一大步。

不同虛擬環境模擬

現在，讓我們將一切再提升一個層次，在不同的環境之間轉移技能和載體。來看IsaacSim，這是英偉達的模擬平臺。

IsaacSim最大的優勢是，將物理模擬加速到比實時快1000倍。

例如，這個小人只用了3天的模擬時間，就通過10年的高強度訓練，學會了令人印象深刻的武術。

而這個賽車場景則是，仿真技術跨過「恐怖谷」的地方。

多虧了硬件加速光線追蹤技術，我們才能渲染出極其復雜的場景，并呈現出令人嘆為觀止的細節。

你在這里看到的逼真效果將幫助我們訓練計算機視覺模型，這些模型將成為每個人工智能智能體的眼睛。

更重要的是，IsaacSim可以程序化地生成具有無限變化的世界，因此沒有兩個世界看起來是一樣的。

這里有一個有趣的想法。

如果一個智能體能夠掌握10000個模擬，那么它很有可能會泛化到真實物理世界，因為我們的世界也只是第10001個「實境」。讓我們沉浸其中吧。

隨著我們在這張圖上的進展，我們最終會到達右上角，那是一個能在所有三個軸上進行泛化的單一智能體，那就是「基礎智能體」。

我相信，基礎智能體的訓練將與ChatGPT非常相似。

所有語言任務都可以表達為文本輸入和文本輸出。無論是寫詩、將英語翻譯成西班牙語還是編寫Python代碼，都是一樣的。

而ChatGPT只需在大量數據中進行大規模擴展即可。

原理一樣。基礎智能體將任務提示作為輸入，并輸出操作。

我們只需在大量現實數據中對其進行大規模擴展，即可對其進行訓練。

我相信在未來，一切能夠移動的東西最終都將是自主的。

有一天我們會發現，所有的AI智能體，無論是《Wall-E》、《星球大戰》，還是《頭號玩家》。

無論是在物理空間還是虛擬空間，對于同一個基礎智能體來說都只是不同的提示。

朋友們，這將是我們探索人工智能的下一個巨大挑戰。