現在訓練機器人，都不需要真實數據了？

剛剛，Figure提出了一種全新的基于RL的端到端網絡。

只需要在純模擬環境中進行訓練，用幾個小時生成模擬數據，就能讓Figure 02像人類一樣自然行走了！

該方法的亮點如下：

• 在模擬環境中運用強化學習，讓機器人不斷試錯，學會像人類一樣走路。
• 通過高保真物理模擬器，僅用幾個小時，就模擬出多年的數據。
• 將模擬中的域隨機化與機器人上的高頻扭矩反饋相結合，無需微調，就能把模擬環境中的策略應用于真實機器人。

更讓人驚喜的是，一個神經網絡策略就能控制一大批機器人！

通過一個高保真物理模擬器，Figure最新的機器人僅用幾個小時，就能模擬出幾年的數據。

為了把模擬環境的訓練成果應用到真實機器人上，團隊采用了兩種辦法。

一是在模擬訓練時進行域隨機化，讓機器人接觸不同的物理屬性；二是在真實機器人上安裝高頻扭矩反饋裝置。

這樣一來，模擬環境中訓練好的策略，無需任何微調，就可以「零樣本」遷移到真實硬件上。

在強化學習中，控制器通過不斷試錯，根據獎勵信號來調整自己的行為。

Figure在高保真模擬環境中訓練RL控制器，運行數千個具有不同參數和場景的虛擬人形機器人。

這種多樣化的訓練，使訓練出的策略能直接用在真實的Figure 02機器人上，走出穩健的人類步伐。

Figure基于RL的訓練方法，大大縮短了開發時間，在現實世界中表現也很穩定。

強化學習訓練

用強化學習方法，在GPU加速的物理模擬環境中，訓練行走控制器。

這個模擬環境效率超高，短短幾個小時就能收集到相當于數年的模擬訓練數據。

在模擬器中，數千個Figure 02機器人并行訓練，每個機器人的物理參數都不一樣。

它們會遇到各種各樣的情況，像不同的地形，執行器動力學變化，以及被絆倒、滑倒和推搡等。

這時，一個神經網絡策略學習控制所有的機器人。

人形機器人有個很大的優勢，它的硬件平臺通用性很強，能執行類似人類的任務。

不過，RL訓練出來的策略，有時不是最佳的，沒辦法讓機器人走出人類走路的感覺，比如腳跟先著地、腳尖蹬地，手臂擺動和腿部動作的配合。

所以，在訓練時，會獎勵那些走路軌跡像人的機器人，把偏好融入學習中。

這些軌跡為策略允許生成的行走風格建立了先驗條件。

除了走路軌跡像人，研究者還設置了其他獎勵條件，比如優化機器人速度跟蹤、功耗更低，更好地應對外界干擾和地形變化。

從模擬到現實的跨越

最后一步，是把模擬環境中訓練好的策略應用到真實的機器人上。

模擬機器人只是高維機電系統的近似，在模擬環境中訓練的策略只能保證在這些模擬機器人上有效，不一定能在真實機器人上正常工作。

為解決這個問題，在模擬訓練時，采用域隨機化技術，隨機改變每個機器人的物理屬性，讓策略能適應各種不同的情況。

這有助于策略零樣本泛化到真實機器人上，而無需任何額外的微調。

同時，在真實機器人上，用千赫茲速率扭矩反饋控制，來修正執行器模型的誤差。

這樣，即使機器人之間有些差異，如地面摩擦力不同，或受到外界推搡，這個策略都具有魯棒性，能讓Figure 02機器人像人一樣行走。

可以看到，10個Figure 02機器人用得都是同一個RL神經網絡。

說明現有的策略不用再做調整，就能推廣到大批機器人，對未來的大規模商業應用是個好消息。

Figure Robotics

Figure Robotics是一家新興的機器人公司，專注于開發通用人形機器人，旨在通過先進的人工智能擴展人類能力。

公司專注于構建像人類一樣學習和推理的機器人。

Figure Robotics一開始與OpenAI合作，然而在內部人工智能（Helix）方面取得「重大突破」后，于2025年2月結束了合作，Figure Robotics轉為自主開發Helix VLA模型。

Figure 02具有肉眼看起來最接近未來成熟形態的外形設計。

簡直和威爾史密斯《I,Robot》中的機器人如出一轍，渾圓的面罩模型也避免了恐怖谷效應。

身高和體重也完美模擬一個成年男性。

當機器人能像人類一樣學會自然行走，是否意味著也能像人一樣學會其他「自然」動作？

更加重要的一個「隱喻」是，目前所有的人形機器人都是按照人類的形態打造的。

這更加方便了未來機器人與人類生活的融合。

除了自然行走，機器人還有很多「人類技能」需要學習，但他們已經在路上了。