想象這樣一個場景：你正在火鍋店和朋友暢聊，一個機器人熟練地為你倒飲料、端菜，完全不需要你分心招呼服務員。這個聽起來像科幻的場景，已經被清華大學交叉信息院的研究者們變成了現實！他們發現了具身智能領域的 “圣杯”——data scaling laws，讓機器人實現了真正的零樣本泛化，可以無需任何微調就能泛化到全新的場景和物體。這一突破性發現，很可能成為機器人領域的 “ChatGPT 時刻”，徹底改變我們開發通用機器人的方式！

從火鍋店到電梯，機器人展現驚人泛化力

研究團隊可不是只在實驗室里玩玩具。他們把機器人帶到了各種真實場景：火鍋店、咖啡廳、公園、噴泉旁，甚至是電梯里。更令人震驚的是，機器人在這些前所未見的環境中都展現出了超強的適應能力！

為了確保研究的可復現性，團隊慷慨地開源了所有資源，包括耗時半年收集的海量人類演示數據：

• 論文標題：Data Scaling Laws in Imitation Learning for Robotic Manipulation
• 論文鏈接：https://arxiv.org/abs/2410.18647
• 項目主頁：https://data-scaling-laws.github.io/

連 Google DeepMind 的機器人專家 Ted Xiao 都忍不住為這項研究點贊，稱其對機器人大模型時代具有里程碑意義！

Scaling Laws：從 ChatGPT 到機器人的制勝法則

還記得 ChatGPT 為什么能橫空出世嗎？答案就是 scaling laws！現在，清華團隊首次證明：這個法則在機器人領域同樣適用。事實上，真正的 scaling laws 包含數據、模型和算力三個維度，而本研究重點突破了最基礎也最關鍵的數據維度。

研究團隊使用便攜式手持夾爪 UMI，在真實環境中收集了超過 4 萬條人類演示數據。他們采用最新的 Diffusion Policy 方法從這些數據中學習機器人控制模型，并通過驚人的 15000 + 次實機測試進行嚴謹評估，最終發現了三個革命性的冪律關系：

• 模型對新物體的泛化能力與訓練「物體」數量呈冪律關系。
• 模型對新環境的泛化能力與訓練「環境」數量呈冪律關系。
• 模型對環境 - 物體組合的泛化能力與訓練「環境 - 物體對」的數量呈冪律關系。

這意味著什么？簡單說：只要有足夠的數據，機器人就能像 ChatGPT 理解語言一樣，自然地理解和適應物理世界！這一發現不僅證實了機器人領域與語言模型存在驚人的相似性，更為預測數據規模與模型性能的關系提供了堅實的理論基礎。

顛覆性發現：數據收集原來要這么做！

研究團隊還破解了一個困擾業界的難題：對于給定的操作任務，如何優化選擇環境數量、物體數量和每個物體的演示次數？

經過大量實驗，他們得出了兩個出人意料的結論：

1. 當環境數量足夠多時，在單一環境中收集多個不同的操作物體的數據收益極其有限 —— 換句話說，每個環境只需要一個操作物體的數據就夠了。

2. 單個物體的演示數據很容易達到飽和 —— 在倒水和擺放鼠標等任務中，總演示數據達到 800 次時，性能就開始趨于穩定。因此，每個物體 50 次示范基本就能搞定。

為驗證這個策略，團隊找來 4 個人，只花了一個下午就收集到了訓練數據。結果令人震驚：在 8 個全新場景中，機器人成功率高達 90%！這意味著，原本可能需要幾個月的數據收集工作，現在可能只需要幾天就能完成！

模型規模化探索的意外發現

除了數據規模，研究團隊還在模型規模化方面有三個重要發現：

• 視覺編碼器必須經過預訓練和完整的微調，缺一不可
• 擴大視覺編碼器的規模能顯著提升性能
• 最令人意外的是：擴大擴散模型的規模卻沒能帶來明顯的性能提升，這一現象還值得深入研究

未來展望

數據規模化正在推動機器人技術走向新紀元。但研究團隊提醒：比起盲目增加數據量，提升數據質量可能更為重要。關鍵問題在于：

• 如何確定真正需要擴展的數據類型？
• 如何最高效地獲取這些高質量數據？

這些都是 Data Scaling Laws 研究正在積極探索的方向。相信在不久的將來，具有超強適應力的機器人將走進千家萬戶，讓科幻電影中的場景變為現實！而這一切，都將從清華團隊發現的這個基礎性規律開始！

關于作者

該項目有兩位共同一作。一位是清華大學交叉信息研究院四年級博士生胡英東，專注于具身智能領域的前沿研究。他致力于探索通用機器人系統所面臨的基礎性問題，旨在使機器人能夠在各種非結構化的現實環境中泛化其學習到的行為。

另一位是交叉信息研究院一年級博士生林凡淇。他專注于將大模型的先驗知識融合到機器人任務中，幫助機器人完成日常生活中的復雜任務；同時他希望利用已有的機器人算法、視覺語言大模型，探索機器人落地的可能性。

項目的通訊作者是清華大學交叉信息研究院的助理教授高陽，他主要研究計算機視覺與機器人學。此前，他在美國加州大學伯克利分校獲得博士學位，師從 Trevor Darrell 教授。他還在加州伯克利大學與 Pieter Abbeel 等人合作完成了博士后工作。在此之前，高陽從清華大學計算機系畢業，與朱軍教授在貝葉斯推理方面開展了研究工作。他在 2011-2012 年在谷歌研究院進行了自然語言處理相關的研究工作、2016 年在谷歌自動駕駛部門 Waymo 的相機感知團隊工作，在 2018 年與 Vladlen Koltun 博士在英特爾研究院在端到端自動駕駛方面進行了研究工作。高陽在人工智能頂級會議 NeurIPS，ICML，CVPR，ECCV，ICLR 等發表過多篇學術論文，谷歌學術引用量超過 2000 次。