今天，會做一大桌子菜的斯坦福機器人Mobile ALOHA刷屏全網。

滑蛋蝦仁、干貝燒雞、蠔油生菜，色香味俱全，看著很誘人。

就拿滑蛋蝦仁這道菜來說，Mobile ALOHA在燒水的過程中先打上3顆雞蛋，然后把蝦仁放到水中焯熟，平底鍋倒入雞蛋液再加入蝦仁，攪拌幾下，一道菜完成了。

再看干貝燒雞的制作過程。

首先，將去骨雞腿肉煎至兩面金黃，再加入干貝等調料之后，悶個20分鐘即可。

最后擺盤時，再撒上一小撮蔥花，完美。

至于蠔油生菜，機器人「大廚」的基操也是非常嫻熟。

甚至，還能切蒜末。

網友看后紛紛表示，我們簡直生活在未來！用不了多久快餐店做漢堡的工作要全面被機器人取代！

就連Pytorch之父稱贊道，很酷的新家機器人平臺，很高興看到更多的工作在這個方向上！

這個由斯坦福三人團隊研發的全新移動機器人Mobile ALOHA，可以通過模仿學習，執行各種復雜的任務。

它不僅可以自主操作，還可以支持全身遠程操控。

值得一提的是，機器人的成本僅為32000美元（約22萬），甚至軟件和硬件全部開源。

論文地址：https://mobile-aloha.github.io/resources/mobile-aloha.pdf

研究人員每個任務只用了50個演示，便讓Mobile ALOHA機器人始終如一地做一件事，比如連續9次擦拭灑在桌子上的葡萄酒，連續5次乘坐電梯。

它還可以在受干擾的情況下，把鍋放入碗柜。即便是訓練數據中看不到的椅子，也能夠擺正。

50個演示如何就讓機器人擁有如此強大的學習能力？

作者解釋關鍵在于，利用靜態ALOHA數據共同訓練模仿學習算法。這能持續提高性能，尤其是在需要精確操作的任務中。

再來看一波Mobile ALOHA炫酷的演示吧！

清洗平底鍋：

和人擊掌：

炒蝦仁：

此外，還可以遙控Mobile ALOHA完成一些更加精細的工作。

比如把紙抽出來擦玻璃。

以及用笤帚掃地等等。

機器人元年強勢開局

2024年還沒到來之前，許多大佬都在預測機器人便是今年除了大模型，另一件重要的研究領域。

沒錯，2024年將會是機器人元年。

一般來說，開發通用機器人一個非常有前途的方法是，從人類提供的演示中進行模仿學習。

這種「行為克隆」可以讓機器人學習各種原始的技能，從簡單的拾放操作，到更精細的操作等等。

然而，現實生活中許多任務，都需要全身協調的機動性，以及靈巧操作，而非單獨的移動或操作行為。

這篇論文中，作者研究了將「模仿學習」擴展到需要雙臂移動機器人全身控制的任務可行性。

當前，有兩個主要因素阻礙了「模仿學習」在雙臂機器人移動操作中的廣泛應用。

一是，缺乏即插即用的「全身遠程操控硬件」。

如果購買現成的，雙臂移動操作器成本會很高，比如PR2和TIAGo這樣的機器人價格超過20萬美元。為了在這些平臺上實現遠程操控，額外的硬件和校準也是必要的

二是，之前的機器人學習研究中，尚未證明對于復雜任務的高性能雙臂移動操作。

在本文中，研究人員試圖解決將「模仿學習」應用于雙臂移動操作的挑戰。

在硬件方面，作者引入了機器人Mobile ALOHA，一個低成本的全身遙操作系統，用于收集雙臂移動操作數據。

通過將其安裝在輪式底座上，Mobile ALOHA擴展了原始ALOHA的能力，即低成本和靈巧的雙人木偶操縱設置。

然后，用戶將身體栓在系統上，反向驅動輪子，以便底座移動。

當用戶雙手控制ALOHA時，底座可以獨立移動。研究人員同時記錄底座速度數據和手臂操縱數據，形成一個全身遠程操控系統。

成本只需3萬刀

值得一提的是，斯坦福團隊在打造Mobile ALOHA的所有成本僅用了3萬美元。

在具體的機器人設計中，它們綜合考慮了四個關鍵的因素：

- 移動：系統的移動速度可與人類行走的速度相媲美，大約每秒1.42米。

- 穩定性：當操作重型家用物品，如鍋和櫥柜時，能夠保持穩定。

- 全身遠程操控：所有自由度都可以同時遙操作，包括手臂和移動底座。

- 不受束縛：機載電源和計算

如下圖所示，可以清楚地看到Mobile ALOHA的技術規格。

Mobile ALOHA有2個腕部攝像頭，和1個頂部攝像頭，并配有機載電源和計算。

另外，遠程操作裝置可以拆除，Mobile ALOHA自主執行時只使用2個ViperX 300。兩只手臂的最低/最高高度分別為65厘米/200厘米，并從底座伸出100厘米。

研究人員選擇AgileX Tracer AGV（Tracer）作為了移動底座，這是一個專為倉庫物流設計的。

其移動速度可以達到1.6m/s，接近人類的平均步行速度。它的最大有效載荷為100千克，高度為17毫米。

值得一提的是，Tracer在美的售價為7000美元，比同等速度和有效載荷的Clearpath的AGV便宜5倍多。

然后，研究人員試圖在Tracer移動底座和ALOHA機械臂的基礎上設計一個全身遠程操控系統，即一個可以同時控制底座和兩個機械臂的遠程操控系統。

而將操作員的腰部拴在移動底座上的設計是最簡單直接的解決方案，這樣可以反向驅動車輪，而車輪在扭矩關閉時摩擦力非常小。

為了改善人體工程學和擴大工作空間，團隊還安裝了4個ALOHA手臂都面向前，不同于原始面向內的ALOHA手臂。

此外，為了讓Mobile ALOHA不受束縛，作者在底部配置了1.26千瓦時重14公斤的電池。同時還可以起到平衡作用，避免翻到。

在數據收集和推理過程中的所有計算都在一臺消費級筆記本電腦上進行，該筆記本電腦配有Nvidia 3070ti GPU （8gb VRAM）和 Intel i7-12800H。

以上便是Mobile ALOHA設計的重要組件。

一些開發細節

材料價格一覽

有興趣的小伙伴可以查看他們的官方文檔：https://docs.google.com/document/d/1_3yhWjodSNNYlpxkRCPIlvIAaQ76Nqk2wsqhnEVM6Dc/edit

協同學習，提升「模仿學習」性能

硬件得到了，接下來便是使用數據進行協同訓練。

論文中，研究人員使用一個協同訓練管道，利用現有的靜態ALOHA數據集，以改善模仿學習在移動操作，特別是雙手臂操作的性能。

靜態ALOHA數據集總共有825個演示任務，包括密封袋子、拿起叉子、包裝糖果、撕紙巾、打開帶蓋塑料杯、玩乒乓球、使用咖啡機、翻轉鉛筆、固定魔術貼電纜、裝上電池和操作螺絲刀。

然后，研究人員選擇了7個任務，讓Mobile ALOHA去完成。

對于機器人需要清理灑在桌子上紅酒的任務，需要機動性和雙手靈活性。

具體來說，機器人需要首先導航到水龍頭，拿起毛巾，然后導航回到桌子。

然后一只手臂舉起酒杯，另一只手臂需要用毛巾擦拭桌子和杯底。這個任務在靜態ALOHA中是不可能完成的，單臂移動機器人需要更多的時間來完成。

對于炒蝦仁來說，機器人需要將一個生蝦兩面煎熟，然后把它放進碗里。

機動性和雙手靈活性也是這項任務的必要條件：機器人需要從灶臺移動到廚房臺，用鏟子翻動蝦仁，而另一只手臂還需傾斜平底鍋。

這項任務要求比擦酒精度更高，因為翻轉半熟的蝦需要更高的精度。

同樣，對于清洗平底鍋、收納鍋、乘坐電梯、推椅子、擊掌的任務，Mobile ALOHA也能熟練地完成。

下圖是機器人在執行任務時的導航移動軌跡。

50個演示，80%+成功率

實驗評估中，研究人員主要為了回答兩個核心問題：

（1） 通過協同訓練和少量移動操作數據，Mobile ALOHA能否掌握復雜的移動操作技能？

（2）Mobile ALOHA能否使用不同類型的模仿學習方法，包括ACT、擴散策略和基于檢索的VINN？

研究發現，協同訓練可以提高ACT性能。在7項具有挑戰性的移動操作任務中，與靜態ALOHA數據集進行協同訓練可持續提高ACT的成功率。

這對于乘電梯時需要按鍵、清洗鍋時需要打開水龍頭，等子任務尤為重要，因為在這些任務中，精確操作是瓶頸所在。

另外，Mobile ALOHA與「模仿學習」方法兼容。

帶分塊的VINN、擴散策略和ACT在Mobile ALOHA上都取得了良好的性能，并且受益于與靜態ALOHA的協同訓練。

協同訓練針對不同數據組合，其表現也是非常穩健。如下是使用ACT進行擦拭酒的任務訓練后的成功率。

協同訓練和預訓練效果對比如下。協同訓練在擦拭酒的任務中的表現，成功率95%，大大優于預訓練的成功率40%。

另外，用戶使用Mobile ALOHA遠程操控未見過的任務時，可以迅速接近專家級速度。

總而言之，僅用32000美元的預算，通過靜態ALOHA數據協同訓練的模仿學習，Mobile ALOHA只需要20-50個演示就能學會各種復雜的任務。

斯坦福Mobile ALOHA向所有人展示了機器人在各種應用場景的潛力，甚至機器人開源實現了人人可復刻。

網友表示，機器人學是一門既需要硬件又需要算法的系統研究。我猜在2024年，我們將在現實世界中看到越來越多的機器人。

作者介紹

Zipeng Fu（項目共同負責人）

Zipeng Fu是斯坦福大學AI實驗室的計算機科學博士生，導師是Chelsea Finn。同時也在Google DeepMind擔任學生研究員，與Jie Tan合作。

此前，他在卡內基梅隆大學（CMU）攻讀機器學習領域的碩士學位，并在機器人學院（Robotics Institute）擔任學生研究員，導師是Deepak Pathak和Jitendra Malik。

他在加州大學洛杉磯分校（UCLA）獲得了計算機科學與應用數學的學士學位，導師是Song-Chun Zhu。

他的研究興趣集中在機器人學、機器學習和計算機視覺的交匯處。并致力于研究在復雜多變的開放世界中實現穩定性能和可實際部署的機器人系統。

他的研究得到斯坦福研究生獎學金的支持，并且還是Pierre和Christine Lamond獎學金的獲得者。

Tony Z. Zhao（項目共同負責人）

Tony Z. Zhao是斯坦福大學的計算機科學博士生，導師是Chelsea Finn。同時也在Google DeepMind擔任兼職研究助理。

在此之前，他于2021年在加州大學伯克利分校（UCB）獲得了電子與計算機科學（EECS）學士學位，導師是Sergey Levine和Dan Klein。并曾在特斯拉Autopilot和谷歌X Intrinsic實習。

他的目標是使機器人能夠完成復雜而精細的操控任務。

Chelsea Finn

Chelsea Finn是斯坦福大學計算機科學與電氣工程的助理教授。研究興趣是機器人及其他智能體能夠通過學習和互動來展現出的智能行為。

她的實驗室IRIS致力于通過大規模的機器人互動研究智能，并且是SAIL和ML Group的合作實驗室。同時，她也在Google Brain團隊擔任研究工作。

此前，她在加州大學伯克利分校（UCB）獲得了計算機科學博士學位，并在麻省理工學院（MIT）取得了電氣工程與計算機科學的學士學位。