特斯拉人形機器人又解鎖了新技能！

昨日，Tesla Optimus 官方發(fā)布了新的 demo 視頻，展示了二代 Optimus 人形機器人的最新進展。

這次，Optimus 開始進廠打工了，在特斯拉電池工廠學會了分裝電池，并且比以前走得更快更遠更穩(wěn)了。

讓我們先一睹 Optimus 的最新技能和訓練細節(jié)。

現(xiàn)在，Optimus 的端到端神經(jīng)網(wǎng)絡(luò)經(jīng)過訓練，能夠?qū)μ厮估S的電池單元進行準確分裝。

Optimus 在機器人的 FSD 計算機上實時運行，而僅僅依靠 2D 攝像頭、手部觸覺和力傳感器。Optimus 利用它的腿保持平衡，同時網(wǎng)絡(luò)驅(qū)動著整個上半身。

在插入過程中需要非常精確的動作，且容錯率很低，神經(jīng)網(wǎng)絡(luò)會自動定位下一個空閑槽位。Optimus 還能從故障中自主恢復。

Optimus 的訓練數(shù)據(jù)是通過人類遠程操作收集，并針對各種任務進行了擴展。

Optimus 在工廠進行測試，人工干預率持續(xù)下降。

當然，Optimus 現(xiàn)在可以在定期繞著辦公室行走，不僅走得更快，走的距離也越來越遠了。

對此，特斯拉 Optimus（Tesla Bot）工程師 Milan Kovac 對 Optimus 的更多訓練細節(jié)進行了解讀。

在過去的幾個月里，特斯拉出色的制造團隊制造出了更多的機器人，以便進行研究并收集人工智能數(shù)據(jù)。

團隊訓練并部署了一個神經(jīng)網(wǎng)絡(luò)，允許 Optimus 開始執(zhí)行有用的任務，例如從傳送帶上撿起電池單元并將它們精確地插入托盤中。

這個神經(jīng)網(wǎng)絡(luò)完全端到端運行，這意味著 Optimus 只消耗來自機器人 2D 攝像頭的視頻以及板載本體感受器上的數(shù)據(jù)，并直接產(chǎn)生關(guān)節(jié)控制序列。

Optimus 完全在機器人的嵌入式 FSD 計算機上運行，由板載電池供電。這樣的設(shè)計使得單個神經(jīng)網(wǎng)絡(luò)可以通過添加更多樣化的數(shù)據(jù)到訓練過程中來執(zhí)行多個任務。

雖然目前 Optimus 還不完美，速度還有點慢，但我們看到了越來越高的成功率和越來越少的失誤。特斯拉還訓練 Optimus 從失敗案例中恢復，并看到了自發(fā)的校正發(fā)生。

特斯拉已經(jīng)在一家工廠部署了幾臺 Optimus 人形機器人，它們每天都在真實的工作站上進行測試，并持續(xù)改進。

團隊正在進行進一步的工作，以使 Optimus 移動更快，以及應對更惡劣的地形，同時不犧牲它的人性化特性。團隊還將專注于可重復性、訓練神經(jīng)網(wǎng)絡(luò)處理動態(tài)校準和機器人之間的微小差異。很快會有更多的更新。

此外，英偉達高級研究科學家、AI Agents 負責人 Jim Fan 對 Optimus 新視頻展示出的技能給予了很高的評價。

他認為，視頻讓我們窺見了人類數(shù)據(jù)收集的真實場景，這是 Optimus 最大的優(yōu)勢。建立這樣的流水線需要什么呢？Optimus 做到了以下幾點：

Optimus 的手是世界上頂級五指靈巧型機器人手之一，它具有觸覺感知，擁有 11 個自由度（DOF），相比之下許多競品只有 6-7 個 DOF，并且具有強大的穩(wěn)健性，能夠在不需要持續(xù)維護的情況下承受大量的物體交互。

遠程操作軟件：我們可以看到人類操作員戴著 VR 眼鏡和手套。設(shè)置軟件以實現(xiàn)第一人稱視頻的實時傳輸和精確控制輸出，同時保持極低延遲，這是非常了不起的。人類對于自己動作和機器人動作之間的最微小延遲都非常敏感。Optimus 有一個流暢的全身控制器，可以實時執(zhí)行人類姿態(tài)。

大規(guī)模 fleet：你需要不止一個機器人來并行收集數(shù)據(jù)，需要訓練有素的人類每天進行多次輪班（最好全天候），以及一個隨叫隨到的維護團隊，以確保機器人始終處于忙碌狀態(tài)。這是學術(shù)研究實驗室甚至都不會考慮的大量操作復雜性。

任務與環(huán)境：弄清楚要遠程操作什么也同樣重要。目前，大多數(shù)此類工作都是由演示驅(qū)動的：收集你想要放入社交媒體視頻中的任務數(shù)據(jù)。但想要解決通用型機器人的問題，我們需要仔細考慮任務和環(huán)境的分布。從視頻的 43 秒到 51 秒部分，我們可以看到工廠和家居環(huán)境，如移動電池、處理洗衣物、將日常物品分類放入貨架。

這是一個開放性的研究問題：如果你只有預算來收集 1000 個任務的訓練數(shù)據(jù)，你會選擇什么來最大化技能轉(zhuǎn)移和泛化呢？

結(jié)論：遠程操作是解決人形機器人問題的必要條件，但不足以充分解決問題。它從根本上來說無法擴展。

在評論區(qū)，馬斯克預告了 Optimus 人形機器人手部的最新目標，在今年晚些時候?qū)碛?22 自由度（DoF）。這就更讓人期待一波了。

此前，據(jù)馬斯克在財報電話會議上透露，特斯拉 Optimus 人形機器人可能會在今年底擁有完成「有用的工廠任務」的能力，并計劃今年底前在自家工廠率先使用。同時特斯拉有可能在 2025 年年底前對外銷售 Optimus。

特斯拉人形機器人「進化史」

特斯拉人形機器人最早要追溯到 2021 年 8 月的「特斯拉 AI 日」活動上，當時馬斯克首次透露了要造人形機器人（Tesla Bot）的設(shè)想。

這款人形機器人的身高大概是 1.72 米，重約 112 斤，身材勻稱，還帶有一張面部屏幕，能夠以約 8 公里 / 小時的速度移動。

2022 年 10 月，這一年的「特斯拉 AI 日」上，Optimus 人形機器人首次亮相。彼時，它還不能做跳舞等花樣表演。機器人工作時的功耗是 500W，重量達到 73 公斤，手運動的自由度有 27 個。

不過，在 Demo 演示中，Optimus 展示了其搬箱子、澆花、在特斯拉超級工廠工作的畫面。

2023 年 5 月，經(jīng)過半年多的蟄伏，特斯拉 Optimus 終于具備了流暢行走和抓取物體的能力。

2023 年 9 月，特斯拉 Optimus 再次進化，可以自主對物體進行分類了，亮點在于神經(jīng)網(wǎng)絡(luò)完全端到端訓練：輸入視頻、輸出控制。閑暇之余，它還能做瑜伽消遣。

2023 年 12 月，Optimus 二代到來，讓人的確看到了電影《機械公敵》里的樣子了。

隨著新視頻的發(fā)布，特斯拉人形機器人的進步速度再次令人驚嘆。