說到腿式機(jī)器人，機(jī)器之心以前介紹過不少，如能跑、能跳、能跳繩、跨越障礙的 Spot 機(jī)器狗，不用攝像頭和激光雷達(dá)憑感覺「越野」的 ANYmal 機(jī)器人、會翻跟斗的 MIT 機(jī)器人，等等。

這些腿式機(jī)器人都有一定的適應(yīng)外部環(huán)境的能力，但還不夠。腿式機(jī)器人在現(xiàn)實世界的成功部署需要其實時適應(yīng)未見過和不斷變化的場景，如多樣化的地形、不同重量的負(fù)載以及不同程度的磨損。

近日，來自 UC 伯克利、CMU 和 FAIR 的研究者們在腿式機(jī)器人實時、智能適應(yīng)具有挑戰(zhàn)性、陌生的地形和環(huán)境方面取得了重大突破，推出了一種快速運(yùn)動適應(yīng)（Rapid Motor Adaptation, RMA）算法。該算法包含兩個子策略，其一是使用強(qiáng)化學(xué)習(xí)訓(xùn)練的基本策略（base policy）和使用監(jiān)督學(xué)習(xí)訓(xùn)練的適應(yīng)模塊（adaptation module），二者完全在模擬中學(xué)習(xí)。在 RMA 算法加持下，四足機(jī)器人擁有了所有智能體共有的適應(yīng)環(huán)境因素的能力。

• 論文地址：https://ashish-kmr.github.io/rma-legged-robots/rma-locomotion-final.pdf
• 項目主頁：https://ashish-kmr.github.io/rma-legged-robots/

以往的四足機(jī)器人要么已經(jīng)針對它們所要適應(yīng)的環(huán)境進(jìn)行了完全手動編碼，要么通過手動編碼和學(xué)習(xí)技巧的結(jié)合來教它們在環(huán)境中導(dǎo)航。與這些不同，RMA 是首個完全基于學(xué)習(xí)的系統(tǒng)，通過探索并與世界進(jìn)行交互，使腿式機(jī)器人能夠從頭開始適應(yīng)環(huán)境。

具體來講，RMA 在不使用任何領(lǐng)域知識（如基準(zhǔn)軌跡或預(yù)定義的足軌跡生成器）的情況下完全在模擬中訓(xùn)練，并且無需任何微調(diào)即可以部署在 Unitree 的 A1 機(jī)器人上。

研究者在各種地形生成器上訓(xùn)練 RMA，包括亂石灘、泥地、不平整草地、混凝土地、鵝卵石地、石階和沙灘等。結(jié)果表明，RMA 在不同的現(xiàn)實環(huán)境和模擬實驗中都實現(xiàn)了優(yōu)于其他腿式機(jī)器人的性能。

優(yōu)哉游哉穿過亂石灘：

走過高低不平的草地：

在潑了油的塑料板上也不打滑：

此外，RMA 中的適應(yīng)模塊至關(guān)重要。測試表明，有適應(yīng)模塊的四足機(jī)器人可以負(fù)載 8 千克的重量，無適應(yīng)模塊的則負(fù)載不了這個重量。

無適應(yīng)模塊的四足機(jī)器人也無法在海綿板上行走：

RMA 賦能的四足機(jī)器人不僅可以負(fù)載不同重量，而且必須能夠適應(yīng)預(yù)期的磨損以及現(xiàn)實世界可能出現(xiàn)的其他不可預(yù)測的變化。得益于自身能力完全基于遭遇的環(huán)境，RMA 賦能的四足機(jī)器人還可以適應(yīng)程序員未曾考慮到的情況。

對于這款能夠適應(yīng)復(fù)雜多變環(huán)境的四足機(jī)器人，網(wǎng)友表示：「我滿腦子想到的都是電視劇《黑鏡》里面的機(jī)器狗……」

機(jī)器人是如何做到的？

手動編碼的改進(jìn)可以提高機(jī)器人在受控環(huán)境中的性能，但是想要機(jī)器人真正的適合現(xiàn)實世界中的變化，唯一的方法是教機(jī)器人真正的適應(yīng)環(huán)境，類似于人類的學(xué)習(xí)方式。

想要賦予機(jī)器人適應(yīng)不斷變化世界的能力，研究者需要通過數(shù)百萬次重復(fù)實驗來教他們，而做到這一點的最佳方法不是在現(xiàn)實世界中，在現(xiàn)實世界中機(jī)器人可能會在學(xué)習(xí)過程中損壞或磨損，研究者是在模擬環(huán)境中進(jìn)行的。

RMA 全程使用端到端學(xué)習(xí)，甚至直接輸出關(guān)節(jié)位置，而不依賴預(yù)定義的腿部運(yùn)動或其他控制原語。

然而，這些機(jī)器人在模擬環(huán)境中學(xué)習(xí)技能，當(dāng)部署到現(xiàn)實環(huán)境中會出現(xiàn)很多挑戰(zhàn)。在模擬環(huán)境中，機(jī)器人的物理結(jié)構(gòu)和模型往往在微小但重要的方面有所不同。例如，在發(fā)送控制信號和執(zhí)行器移動之間可能有輕微的延遲，或者腳上的磨損使它比以前更滑，或者關(guān)節(jié)的角度可能偏差了百分之一度。

物理世界本身也呈現(xiàn)出一些復(fù)雜的情況，以自由空間中移動的剛體為模型的模擬器無法準(zhǔn)確捕捉到這些復(fù)雜情況。床墊或泥坑等表面接觸后會變形。在模擬中相當(dāng)標(biāo)準(zhǔn)化的環(huán)境在現(xiàn)實世界中變得更加多樣化和復(fù)雜，如果考慮到室內(nèi)和室外空間中可能存在的大量地形，情況就更加復(fù)雜了。當(dāng)然，現(xiàn)實世界中的因素從來都不是靜態(tài)的，所以腿式機(jī)器人能夠掌握的現(xiàn)實世界環(huán)境可能與大不相同。

在真實世界中進(jìn)行模擬和部署訓(xùn)練

RMA 通過使用兩個不同的子系統(tǒng)克服了這些挑戰(zhàn)：基本策略和適應(yīng)模塊。

基本策略是在 RL 模擬中學(xué)習(xí)的，使用不同環(huán)境的信息（例如摩擦量以及有效載荷的重量和形狀）。研究者設(shè)置了不同的變量——模擬更滑或少滑的地面或斜坡的坡度——因此機(jī)器人可以學(xué)習(xí)在不同條件下的正確控制，研究者將關(guān)于這些變量的信息編碼為「extrinsics」。

環(huán)境參數(shù)范圍。

當(dāng)然，不能僅僅用這個基本策略來部署機(jī)器人，因為我們不知道它在現(xiàn)實世界中會遇到什么外部特性。因此，研究者依賴于機(jī)器人在周圍環(huán)境中自己學(xué)到的信息，即機(jī)器人最近的運(yùn)動信息。我們知道關(guān)節(jié)的實際運(yùn)動和來自命令的預(yù)期運(yùn)動之間的差異依賴于這些外部特性。例如，突然的腿部障礙物會使機(jī)器人停止，但同時也會顯示其周圍地面高度的信息。同樣，在柔軟的表面上，機(jī)器人腿會隨著腳下沉而伸展得更遠(yuǎn)，而在堅硬的表面上，機(jī)器人會快速的停止。

由于我們知道機(jī)器人在模擬中遇到的實際外部特性，我們可以使用監(jiān)督學(xué)習(xí)訓(xùn)練自適應(yīng)模塊，從機(jī)器人最近的歷史狀態(tài)預(yù)測當(dāng)前行為。

適應(yīng)新條件，幾乎是瞬間完成

通過基本策略和適應(yīng)模塊的這種組合，機(jī)器人可以在幾分之一秒內(nèi)適應(yīng)新的條件。

相比較而言，先前基于 RL 的方法訓(xùn)練的機(jī)器人需要幾分鐘時間，有時還需要人工干預(yù)才能適應(yīng)新條件，使得這些機(jī)器人在現(xiàn)實世界中不現(xiàn)實。

當(dāng)部署支持 RMA 的機(jī)器人時，基本策略和適應(yīng)模塊協(xié)同異步工作（基本策略以更快的速度運(yùn)行，適應(yīng)模塊以更慢的速度運(yùn)行），以使機(jī)器人能夠在沒有任何微調(diào)的情況下執(zhí)行魯棒和自適應(yīng)的移動。異步運(yùn)行兩種策略并以本質(zhì)上不同的頻率運(yùn)行還有助于使用小型機(jī)載計算部署 RMA。小的基本策略可以保持機(jī)器人以高頻行走，而較大的適應(yīng)模塊可以以低頻發(fā)送外部向量。異步運(yùn)行這兩個策略還為有些不可預(yù)測的硬件速度和時間增加了魯棒性。

實驗表明，RMA 支持的機(jī)器人成功地在幾個具有挑戰(zhàn)性的環(huán)境中行走，表現(xiàn)優(yōu)于 non-RMA 部署的機(jī)器人，與 Unitree 機(jī)器人相媲美，甚至是優(yōu)于 Unitree 機(jī)器人。研究者使用相同的策略執(zhí)行所有現(xiàn)實世界的部署，而不需要任何模擬校準(zhǔn)或現(xiàn)實世界的微調(diào)。

在所有的試驗中，這個機(jī)器人能夠在沙子上、泥土里、徒步小徑上、高草叢和土堆上行走，沒有一次失敗。在 70% 的試驗中，這個機(jī)器人成功地沿著一條徒步路線走下臺階。在 80% 的試驗中，它成功地通過了一堆水泥和一堆鵝卵石，盡管在訓(xùn)練中從未見過這種不穩(wěn)定或下沉的地面、阻塞的植被或臺階。當(dāng)它以 12 公斤的有效載荷（相當(dāng)于其體重的 100%）移動時，它也能以很高的成功率保持高度。

RMA 是機(jī)器人技術(shù)一項激動人心的進(jìn)步，它可以在現(xiàn)實世界中部署新型、高效且適應(yīng)性強(qiáng)的步行機(jī)器人。這項工作還表明，人工智能的進(jìn)步可以改變機(jī)器人領(lǐng)域，增強(qiáng)機(jī)器人的能力，同時使這些改進(jìn)更易于擴(kuò)展到新的條件和應(yīng)用。純粹依靠學(xué)習(xí)的方法有可能在更便宜、不準(zhǔn)確的硬件環(huán)境下工作，這將大大降低未來機(jī)器人的成本。效率的提高和成本的降低可能意味著 RMA 支持的機(jī)器人將來可以發(fā)揮多種作用，比如在搜索和救援行動中充當(dāng)助手，特別是在那些對人類來說太危險或不切實際的地區(qū)。

除了機(jī)器人技術(shù)之外，RMA 還指出了構(gòu)建 AI 系統(tǒng)的方法，該系統(tǒng)可以通過利用動態(tài)數(shù)據(jù)來了解特定算法運(yùn)行的上下文，從而實時適應(yīng)許多困難的挑戰(zhàn)。