本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

最近世界模型的火熱似乎能在機器人操作中起到一些至關重要的作用。而對于具身智能來說，現階段manipulation是最需要突破的點。特別是針對以下long horizon的任務，如何構建機器人“小腦”，來實現各種復雜的操作要求，是當下最需要解決的問題。

是否需要通過拆分skill為原子操作？

在把LLM應用在機器人上時，比較常用的做法是把各種API提供在context里面，然后讓LLM根據任務prompt自動編寫planning代碼，可以參考文章：

這種方法優點是非常直觀，可以比較清晰地把握任務的拆解邏輯，比如移動到A，抓起B，移動到C，放下B。但是這種操作的前提是能夠把整個任務拆分成原子操作（移動、抓取、放置等）。但是如果是一些比較復雜的任務，比如疊衣服這種任務，其是天然難以進行任務拆分的，那這個時候應該怎么辦？其實對于manipulation來說，我們大量面對的應該是這種long horizon且難以進行拆分的任務。

世界模型可以作為關鍵突破點

針對long horizon且難以進行拆分的manipulation任務，比較好的處理方法是研究模仿學習，比如diffusion policy或者ACT這種，對整個操作trajectory進行建模擬合。但是這種方法都會遇到一個問題，就是沒有辦法很好的處理累積誤差——而這個問題的本質就是缺乏一套有效地反饋機制。

還是以疊衣服為例，人在疊衣服的時候，其實會根據視覺獲取的衣服變化，不斷地調整操作策略，最終將衣服疊到想要的樣子。那這個里面其實有一個比較隱含但是非常重要的點：人大概知道什么樣的操作，會導致衣物發生什么樣的變化。那么進一步，就是人其實具備一個關于衣物變形的模型，能夠大概知道什么樣的輸入，會導致狀態（衣物擺放）的變化（視覺層面就是像素級別），更加具體的可以表示為：

SORA其實給了一劑強心針，就是只要數據夠多，我能用transformer+diffusion layer，硬train一個可以理解并預測變化的模型f。假設我們已經有了一個非常強的預測衣物隨操作變化的模型f，那這個時候疊衣服就可以通過像素級別的衣物狀態反饋，通過Model Predictive Control的思路，構建一個視覺伺服（Visual Servo）的策略，將衣服疊到我們想要的狀態。這一點其實在LeCun最近的一些“暴論”上也得到了驗證：

如何構建面向機器人操作的世界模型