多任務(wù)機(jī)器人學(xué)習(xí)在應(yīng)對多樣化和復(fù)雜情景方面具有重要意義。然而，當(dāng)前的方法受到性能問題和收集訓(xùn)練數(shù)據(jù)集的困難的限制。

這篇論文提出了GeRM（通用機(jī)器人模型），研究人員利用離線強(qiáng)化學(xué)習(xí)來優(yōu)化數(shù)據(jù)利用策略，從演示和次優(yōu)數(shù)據(jù)中學(xué)習(xí)，從而超越了人類演示的局限性。

作者：宋文軒，趙晗，丁鵬翔，崔燦，呂尚可，范亞凝，王東林

單位：西湖大學(xué)、浙江大學(xué)

論文地址：https://arxiv.org/abs/2403.13358

項(xiàng)目地址：https://songwxuan.github.io/GeRM/

之后采用基于Transformer的視覺-語言-動作模型來處理多模態(tài)輸入并輸出動作。

通過引入專家混合結(jié)構(gòu)，GeRM實(shí)現(xiàn)了更快的推理速度和更高的整體模型容量，從而解決了強(qiáng)化學(xué)習(xí)參數(shù)量受限的問題，提高了多任務(wù)學(xué)習(xí)中的模型性能，同時(shí)控制了計(jì)算成本。

通過一系列實(shí)驗(yàn)證明，GeRM在所有任務(wù)中均優(yōu)于其他方法，同時(shí)驗(yàn)證了其在訓(xùn)練和推理過程中的效率。

此外，研究人員還提供了QUARD-Auto數(shù)據(jù)集以支持訓(xùn)練，該數(shù)據(jù)集的構(gòu)建遵循文中提出的數(shù)據(jù)自動化收集的新范式，該方法可以降低收集機(jī)器人數(shù)據(jù)的成本，推動多任務(wù)學(xué)習(xí)社區(qū)的進(jìn)步。

主要貢獻(xiàn)：

1. 首次提出了用于四足強(qiáng)化學(xué)習(xí)的混合專家模型，其在混合質(zhì)量的數(shù)據(jù)上進(jìn)行訓(xùn)練，從而具備習(xí)得最優(yōu)策略的潛力。

2. 與現(xiàn)有方法相比，GeRM在只激活自身1/2參數(shù)的情況下展現(xiàn)出更高的成功率，激活了涌現(xiàn)能力，同時(shí)在訓(xùn)練過程中展現(xiàn)了更優(yōu)的數(shù)據(jù)利用策略。

3.提出了一個(gè)全自動機(jī)器人數(shù)據(jù)集收集的范式，并收集了一個(gè)大規(guī)模開源數(shù)據(jù)集。

方法

GeRM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，包含示范數(shù)據(jù)和失敗數(shù)據(jù)的視覺-語言輸入，分別經(jīng)過編碼器和tokenizer后輸入到8層混合專家結(jié)構(gòu)的decoder中，并生成動作token，最終轉(zhuǎn)化為離散的機(jī)器人動作數(shù)據(jù)并通過底層策略部署到機(jī)器人上，此外我們用強(qiáng)化學(xué)習(xí)的方式進(jìn)行訓(xùn)練。

圖1 GeRM網(wǎng)絡(luò)結(jié)構(gòu)圖

GeRM Decoder是一個(gè)包含 Transformer Decoder架構(gòu)模型，其中前饋網(wǎng)絡(luò)（FFN）從一組 8 個(gè)不同的專家網(wǎng)絡(luò)中選擇。

在每一層，對于每一個(gè)標(biāo)記，門控網(wǎng)絡(luò)選擇兩個(gè)專家來處理token，并將它們的輸出加權(quán)組合。

不同的專家擅長不同的任務(wù)/不同的動作維度，以解決不同場景中的問題，從而學(xué)習(xí)跨多個(gè)任務(wù)的通用模型。該架構(gòu)擴(kuò)大了網(wǎng)絡(luò)參數(shù)量，同時(shí)保持計(jì)算成本基本不變。

圖2 Decoder結(jié)構(gòu)圖

我們提出了一個(gè)自動的范式來收集機(jī)器人多模態(tài)數(shù)據(jù)。通過這種方式，我們構(gòu)建了一個(gè)大規(guī)模的機(jī)器人數(shù)據(jù)集QUARD-Auto，其中包含演示和次優(yōu)數(shù)據(jù)的組合。它包括5個(gè)任務(wù)和99個(gè)子任務(wù)，總共有257k條軌跡。我們將進(jìn)行開源以促進(jìn)機(jī)器人社區(qū)發(fā)展。

表1 數(shù)據(jù)集介紹

圖3 數(shù)據(jù)量統(tǒng)計(jì)

實(shí)驗(yàn)

我們進(jìn)行了一系列全面而可靠的實(shí)驗(yàn)，涵蓋了所有 99 個(gè)子任務(wù)，每個(gè)子任務(wù)進(jìn)行了 400 條軌跡的精心測試。

如表1所示，GeRM在所有任務(wù)中具有最高的成功率。與 RT-1 和其他GeRM 的變體相比，它有效地從混合質(zhì)量的數(shù)據(jù)中學(xué)習(xí)，優(yōu)于其他方法，并在多任務(wù)中展現(xiàn)出優(yōu)越的能力。與此同時(shí)，MoE 模塊通過在推理時(shí)激活部分參數(shù)來平衡計(jì)算成本和性能。

表2 多任務(wù)對比實(shí)驗(yàn)

GeRM表現(xiàn)出令人稱贊的訓(xùn)練效率。與其他方法相比，GeRM 僅需極少的batch就獲得了極低的Loss和較高的成功率，凸顯了GeRM優(yōu)化數(shù)據(jù)利用策略的能力。

圖4 成功率/Loss變化曲線

GeRM 在動態(tài)自適應(yīng)路徑規(guī)劃方面展現(xiàn)出了涌現(xiàn)能力。如視頻所示，四足機(jī)器人在初始位置視野受限，難以確定移動方向。為了避開障礙物，它隨機(jī)選擇向左轉(zhuǎn)。

隨后，在遇到錯誤的視覺輸入后，機(jī)器人執(zhí)行了大幅度的重新定向，以與原始視野之外的正確目標(biāo)對齊。然后，它繼續(xù)向目的地駛?cè)ィ罱K完成任務(wù)。

值得注意的是，這樣的軌跡不屬于我們的訓(xùn)練數(shù)據(jù)集分布之內(nèi)。這表明 GeRM 在場景背景下的動態(tài)自適應(yīng)路徑規(guī)劃方面具有涌現(xiàn)能力，即它能夠根據(jù)視覺感知進(jìn)行決策、規(guī)劃未來路徑，并根據(jù)需要改變下一步行動。

圖5 涌現(xiàn)能力