有人說，機器人領(lǐng)域進(jìn)展緩慢，甚至和機器學(xué)習(xí)的其他子領(lǐng)域相比顯得毫無進(jìn)展。

谷歌 DeepMind 機器人科學(xué)家，SayCan、RT-1、RT-2 等具身智能項目參與者 Alex Irpan 同意這一說法。但他認(rèn)為，這是因為機器人學(xué)是一個和現(xiàn)實緊密連接的領(lǐng)域，現(xiàn)實的復(fù)雜性決定了他們不免碰壁。他還指出，這些問題不是機器人技術(shù)所獨有的。同樣的問題也適用于大語言模型（LLM）等技術(shù)。這些模型在面對現(xiàn)實世界時，會遇到與機器人學(xué)類似的復(fù)雜性問題。

最近，他寫了一篇題為「The Tragedies of Reality Are Coming for You（現(xiàn)實的悲劇正在向你襲來）」的博客來闡述這一觀點。

現(xiàn)實的悲劇正在向你襲來

2023 年，我參加了一次 ML 會議。夜未央，酒酣耳熱，話題轉(zhuǎn)到了一個問題上：「如果你能把任何一個機器學(xué)習(xí)子領(lǐng)域的資源都給另一個子領(lǐng)域，你會砍掉哪個，把資源給誰？」

我不記得別人是怎么說的，但有一個人說他們會砍掉機器人。當(dāng)我進(jìn)一步追問時，他們說機器人技術(shù)進(jìn)展太慢，相對于其他領(lǐng)域來說，什么都沒有發(fā)生。

他們說機器人技術(shù)比純軟件的機器學(xué)習(xí)子領(lǐng)域進(jìn)展緩慢，我認(rèn)為他們說得沒錯，但我還想補充兩點：

• 機器人學(xué)習(xí)進(jìn)展較慢的原因是：如果不解決難題，就很難有所作為。
• 機器人技術(shù)的難題并非機器人獨有。

在機器人技術(shù)領(lǐng)域，人們常說的一句話是「現(xiàn)實是混亂的」。相對于代碼而言，我會將其延伸為「現(xiàn)實是復(fù)雜的」。在機器人技術(shù)中，你往往要將混亂的現(xiàn)實推向一個足夠好的抽象層，以便代碼能夠在其上發(fā)揮作用。作為一個領(lǐng)域，計算機科學(xué)花了數(shù)十年時間在硬件和軟件之間創(chuàng)建了良好的抽象層。代碼描述了如何將電力輸送到硬盤、處理器和顯示器，它足夠可靠，我甚至不需要考慮它。

這樣做有很多好處。一旦你完成了這項艱巨的工作，并將你的工作進(jìn)展轉(zhuǎn)移到抽象的邏輯空間中，一切都會變得更容易。代碼和數(shù)據(jù)的可復(fù)制性令人難以置信。我在 3 臺設(shè)備上同步了代表這篇博文草稿的文件副本，甚至不用花費任何精力思考。

不過，就像 Joel Spolsky 所說，所有抽象在某種程度上都有漏洞，而我發(fā)現(xiàn)機器人技術(shù)中的漏洞往往更大。有很多出錯的方式與代碼的正確性無關(guān)。

這和這個學(xué)科的一些基本原理有關(guān)嗎？有一點。很多機器人硬件比筆記本電腦或 Linux 服務(wù)器更具實驗性。消費類機器人還不是一大產(chǎn)業(yè)。「實驗性」往往意味著「奇怪的、更容易出現(xiàn)故障的狀態(tài)」。

但是，我不認(rèn)為硬件是造成問題的主要原因。現(xiàn)實才是問題的根源。Benjamin Holson 在他的「Mythical Non-Roboticist（神話般的非機器人學(xué)家）」一文中說得非常好：

第一個難點在于，機器人要處理的是現(xiàn)實世界中不完美的感知和不完美的執(zhí)行。全局可變狀態(tài)是一種糟糕的編程風(fēng)格，因為它真的很難處理，但對于機器人軟件來說，整個物理世界都是全局可變狀態(tài)，你只能不可靠地觀察它，并希望你的行動能接近你想要實現(xiàn)的目標(biāo)。

機器人研究依賴于在現(xiàn)實與軟件之間搭建新的橋梁，但這也發(fā)生在機器人研究之外。任何與現(xiàn)實對接的軟件，對現(xiàn)實的了解都是不完美的。任何試圖影響現(xiàn)實世界變化的軟件，都必須應(yīng)對現(xiàn)實的全局可變狀態(tài)。任何軟件，如果其行為依賴于現(xiàn)實中發(fā)生的事情，就會招致對抗性的噪聲和復(fù)雜性。

游戲 AI 就是一個很好的例子。國際象棋 AI 是可靠的超人。然而，如果你以特定方式下棋，一些超人圍棋 AI 是可以擊敗的，正如 Tony T. Wang 等人在 ICML 2023 論文「Adversarial Policies Beat Superhuman Go AIs」中發(fā)現(xiàn)的那樣。對抗性技術(shù)找到了足夠清晰以至于人類可以復(fù)制的策略。

在附錄 G.2 中，我們的一位作者，一位圍棋專家，能夠在沒有任何算法幫助的情況下，通過學(xué)習(xí)對手的對局記錄來實現(xiàn)這種 [cyclic] 攻擊。他們在 KGS 在線圍棋服務(wù)器上以標(biāo)準(zhǔn)人類條件對局，在與作者無關(guān)的頂級 KataGo 機器人對局中取得了超過 90% 的勝率。

作者甚至在給機器人 9 個讓子的情況下獲勝，這是一個巨大的優(yōu)勢：擁有這些讓子的人類職業(yè)棋手在面對任何對手（無論是人類還是人工智能）時，勝率幾乎都是 100%。他們還擊敗了 KataGo 和 Leela Zero，二者每局棋的搜索次數(shù)都達(dá)到了 10 萬次，這通常遠(yuǎn)遠(yuǎn)超出了人類的能力范圍。此后，其他人類也利用 cyclic 攻擊擊敗了其他各種頂級圍棋 AI。

與此同時，幾年前，OpenAI 創(chuàng)建了一個系統(tǒng)，該系統(tǒng)擊敗了 Dota 2 的衛(wèi)冕世界冠軍。在向公眾開放該系統(tǒng)以測試其穩(wěn)健性后，一個團隊設(shè)計了一套策略，取得了 10 場連勝。

基于這一點，你可能會持一種悲觀的觀點，認(rèn)為即使是連接 19 x 19 圍棋棋盤或 Dota 2 這樣一個簡單的「現(xiàn)實」，其額外復(fù)雜性就足以使穩(wěn)健行為具有挑戰(zhàn)性。我認(rèn)為這種觀點有失公允，因為這兩個系統(tǒng)都沒有將穩(wěn)健性作為最高目標(biāo)，但我確實認(rèn)為它們是一個有趣的案例研究。

最近，圍繞 LLM 的炒作浪潮一浪高過一浪 —— 他們能做什么，他們能在哪里應(yīng)用。這其中隱含的一個信念是，LLM 可以極大地改變?nèi)藗冊诠ぷ骱托蓍e中與技術(shù)交互的方式。換句話說，LLM 將改變我們與現(xiàn)實交互的方式。事實上，我也加入了這股炒作浪潮，具體來說，我懷疑基礎(chǔ)模型短期炒作過度，長期炒作不足。然而，這也意味著，對于一個歷來不善于考慮現(xiàn)實的領(lǐng)域來說，現(xiàn)實的一切混亂都將到來。

就在這個人說機器人技術(shù)是浪費資源的同一個 ML 會議上，我提到我們正在用真實機器人進(jìn)行基礎(chǔ)模型實驗。有人說這似乎有點嚇人，我向他們保證這只是一個研究原型。但我也覺得 LLM 生成和執(zhí)行軟件有點嚇人，我覺得他們隱隱擔(dān)心一個卻不擔(dān)心另一個很有意思。硅谷的人有點自相矛盾。他們既相信軟件能推動初創(chuàng)企業(yè)實現(xiàn)驚人的變革，又相信他們的軟件不值得深思或反省。我認(rèn)為，比特世界與原子世界一樣，都是現(xiàn)實的一部分。它們在不同的層面上運行，但都是現(xiàn)實的一部分。

我注意到（有些幸災(zāi)樂禍），LLM 從業(yè)者也開始遭遇之前機器人技術(shù)碰到過的痛點。比如「我們無法復(fù)制這些訓(xùn)練，因為這太耗費資金了」。是啊，這個問題在機器人領(lǐng)域已經(jīng)討論了至少十年。再比如，「我沒法讓必應(yīng)告訴我《阿凡達(dá) 2》的上映日期，因為它一直在調(diào)出關(guān)于自己的新聞報道，并在生成前進(jìn)行自我修正。」

我們現(xiàn)在所處的世界，任何公開的互聯(lián)網(wǎng)文本都會不可逆轉(zhuǎn)地影響檢索增強生成。歡迎來到全局可變狀態(tài)。每當(dāng)我看到有人聲稱 ChatGPT 的行為出現(xiàn)了倒退，我就會想起我和其他人為了解釋機器人性能突然莫名下降而想出的各種「陰謀論」，以及問題究竟是出在模型、環(huán)境，還是我們的過度推斷。

俗話說「所有的機器人 demo 都在撒謊」，人們發(fā)現(xiàn)所有的 LLM demo 也都在撒謊。我認(rèn)為，從根本上說，這是無法避免的，因為人類的注意力是有限的。重要的是評估謊言的類型、大小和重要性。他們是否展示了模型 / 機器人如何泛化？他們有沒有提到這些例子是如何精挑細(xì)選的？一旦將現(xiàn)實聯(lián)系起來，這些問題就會變得更加復(fù)雜。梅西目前看起來是個不錯的球員，但「他能在斯托克城寒冷的雨夜做到這一點嗎」？

讓問題變得復(fù)雜的是，這些問題的答案并不總是「否」。梅西可以在斯托克城的寒冷雨夜做到這一點。他足夠優(yōu)秀。這讓問題變得困難，因為正確地回答一個「是」比正確地回答一個「否」要重要得多。隨著 LLM 越來越優(yōu)秀，隨著 AI 在日常生活中越來越常見，作為一個社會，我們需要越來越善于判斷模型是否已經(jīng)證明了自己。我對未來的主要擔(dān)憂之一，就是我們不善于評估模型是否已經(jīng)證明了自己。

但是，我期望機器人學(xué)家會走在曲線的前面。在 LLM 操縱通用基準(zhǔn)測試的說法出現(xiàn)之前，我們就在抱怨評估問題。早在「我們需要更好的數(shù)據(jù)覆蓋率」成為基礎(chǔ)模型預(yù)訓(xùn)練團隊的口號之前，我們就在努力獲取足夠的數(shù)據(jù)，以捕捉自動駕駛的長尾效應(yīng)。機器學(xué)習(xí)一直生活在一個令機器人專家、化學(xué)家、生物學(xué)家和神經(jīng)科學(xué)家羨慕不已的泡沫中，隨著它真正開始發(fā)揮作用，我們所有人都將遇到其他人多年來一直在應(yīng)對的同樣的現(xiàn)實壁壘。這些挑戰(zhàn)是可以克服的，但會很艱難。歡迎來到現(xiàn)實世界。歡迎來到痛苦的世界。