要知道，大規(guī)模、優(yōu)質(zhì)的機器人訓(xùn)練數(shù)據(jù)集的獲取往往非常有挑戰(zhàn)性。

不過最近，來自英偉達、UT Austin和UCSD的研究人員推出了一種大規(guī)模自動化數(shù)據(jù)生成系統(tǒng)——DexMimicGen。

它可基于少量人類演示合成類人機器人的靈巧手運動軌跡，幫助實現(xiàn)在更少人工干預(yù)下擴大類人數(shù)據(jù)的采集。

也就是說，機器人訓(xùn)練數(shù)據(jù)集的獲取效率得到了大幅提升！

DexMimicGen的核心思想是利用一小組人類演示，并通過在物理仿真中進行演示轉(zhuǎn)換和重放，自動生成大量適用于雙手靈巧操作場景中模仿學(xué)習(xí)的訓(xùn)練數(shù)據(jù)。

項目主頁：https://dexmimicgen.github.io/

從僅5個源人類演示開始，DexMimicGen可以生成1000個雙手靈巧任務(wù)的演示。研究團隊從60個源人類演示中總共生成了21000個演示，涵蓋了9種不同的任務(wù)。

DexMimicGen生成的大規(guī)模數(shù)據(jù)集可用于訓(xùn)練高性能的模仿學(xué)習(xí)策略，并用于不同策略的基準測試。

研究團隊發(fā)現(xiàn)，隨著DexMimicGen數(shù)據(jù)量的增加，策略的性能也隨之提升。

他們還使用DexMimicGen結(jié)合real2sim2real方法生成了真實世界的演示。

他們創(chuàng)建了一個現(xiàn)實世界罐子分類任務(wù)的數(shù)字孿生模型，通過在仿真環(huán)境中重放現(xiàn)實世界的人類演示，利用DexMimicGen生成軌跡，并將這些生成的軌跡轉(zhuǎn)移回現(xiàn)實世界，從而實現(xiàn)了一個成功率高達90%的視覺運動策略，而單靠人類演示的成功率僅為0%！

解決機器人訓(xùn)練數(shù)據(jù)集的獲取難題

從人類演示中進行模仿學(xué)習(xí)是一種有效的機器人操作技能教學(xué)方法。

其中一種常見的方法是遠程操作，即人類操作員通過控制機器人手臂來收集數(shù)據(jù)，這些數(shù)據(jù)用于訓(xùn)練機器人，使其能夠自主完成任務(wù)。

近期的研究通過多個操作員協(xié)作收集了大規(guī)模多樣化的數(shù)據(jù)集，結(jié)果表明，基于這些數(shù)據(jù)集訓(xùn)練的機器人表現(xiàn)出色，甚至能夠在不同環(huán)境中泛化。此外，近期的研究還關(guān)注將這一范式應(yīng)用于類人機器人。

然而，數(shù)據(jù)采集是這一方法更廣泛應(yīng)用的主要瓶頸。

在單臂機器人任務(wù)中，數(shù)據(jù)采集通常需要多個操作員、機器人以及數(shù)月的人力投入。針對類人機器人的數(shù)據(jù)采集則更具挑戰(zhàn)性，因為同時控制多只手臂和多指靈巧手的復(fù)雜性較高。

為了實現(xiàn)類人機器人的實時遠程操作，研究人員開發(fā)了專門的遠程操作界面，但這些界面的成本高昂，難以實現(xiàn)規(guī)?；?。

類人機器人的任務(wù)復(fù)雜性也更高，因此數(shù)據(jù)需求更大，但由于操作員需同時控制多臂和多指手，工作負擔大幅增加，數(shù)據(jù)采集也更加困難。

相比之下，在仿真環(huán)境中利用自動化數(shù)據(jù)生成是一種引人注目的替代方案，并已證明在單臂機器人操作中非常有效。

受這一成功的啟發(fā)，DexMimicGen由此誕生，這是一個針對雙手靈巧機器人（如類人機器人）的大規(guī)模自動數(shù)據(jù)生成系統(tǒng)。

DexMimicGen方法介紹

基于MimicGen進行改進

DexMimicGen所借鑒的MimicGen方法是一種適用于帶并行爪夾具的單臂機器人的流水線，而DexMimicGen克服了多個技術(shù)挑戰(zhàn)，使得這些原理可以應(yīng)用于我們的雙手操作場景。

MimicGen將每個任務(wù)分解為一系列子任務(wù)，分別軌跡后拼接在一起。而雙手靈巧操作涉及三種子任務(wù)類型，其中兩只手臂需要分別實現(xiàn)子目標、協(xié)調(diào)配合，并按特定順序執(zhí)行。

然而，MimicGen依賴單一的子任務(wù)分割策略，難以應(yīng)對雙手任務(wù)中獨立和相互依賴的動作需求。

為了解決這些問題，DexMimicGen引入了一種靈活的單臂子任務(wù)分割策略，使每只手臂能夠獨立執(zhí)行其子任務(wù)，同時能夠適應(yīng)必要的協(xié)調(diào)階段。

DexMimicGen采用同步策略，以確保在協(xié)調(diào)子任務(wù)期間動作的精確對齊，并引入排序約束機制，以確保在順序子任務(wù)中動作的正確執(zhí)行順序。

子任務(wù)的分類法

DexMimicGen生成用于雙手靈巧操作的數(shù)據(jù)——這涉及比MimicGen更具挑戰(zhàn)性的三大關(guān)鍵問題。

首先，每個手臂必須能夠獨立于另一個手臂操作以實現(xiàn)不同的目標；其次，手臂必須能夠協(xié)調(diào)以實現(xiàn)共同的目標；最后，某些手臂目標必須在其他目標完成之前完成。

為了應(yīng)對這些挑戰(zhàn)，DexMimicGen引入了一種子任務(wù)類型的分類法——包括并行子任務(wù)、協(xié)調(diào)子任務(wù)和順序子任務(wù)，并對數(shù)據(jù)生成過程進行了相應(yīng)調(diào)整以適應(yīng)這些任務(wù)類型。

并行子任務(wù)

在雙臂機器人設(shè)置中，每個機械臂需要具備獨立操作的能力，以便各自完成不同的任務(wù)目標。比如，在裝配任務(wù)的初期階段，每個手臂都需要抓取不同的部件，而且這兩個抓取動作可能不會在同一時間發(fā)生。

為此，DexMimicGen引入了一種新的子任務(wù)類型——并行子任務(wù)，它允許每個臂根據(jù)自己的任務(wù)列表獨立行動。

由于每個手臂的子任務(wù)是獨立定義的，它們的啟動和完成時間可能會有所不同。為了適應(yīng)這種非同步性，DexMimicGen引入了異步執(zhí)行策略。

在這種策略下，每個手臂都有自己的動作隊列，動作會從隊列中逐一出隊并行執(zhí)行。一旦某個手臂的隊列為空，它就會加載下一個子任務(wù)的轉(zhuǎn)換后操作段，確保即使沒有嚴格的子任務(wù)對齊，也能順利執(zhí)行兩個手臂的動作。

協(xié)調(diào)子任務(wù)

對于需要精確配合的任務(wù)，如「盒子清理」中的蓋子放置，兩個末端執(zhí)行器在執(zhí)行過程中的相對位置必須與源演示保持一致。

DexMimicGen通過確保兩個手臂以同步的方式執(zhí)行軌跡，并使用相同的變換來生成軌跡，從而實現(xiàn)這一點。

具體來說，為了達到時間上的同步，DexMimicGen在源演示分割時強制所有協(xié)調(diào)子任務(wù)在同一時間點結(jié)束。

在實際執(zhí)行中，則采用同步策略，即每個手臂會等待另一個手臂，直至兩者在協(xié)調(diào)子任務(wù)中剩余的步驟相同，這樣就能保證子任務(wù)的執(zhí)行結(jié)束與分割時的設(shè)定一致。

此外，DexMimicGen還提供了兩種源演示變換方案：「轉(zhuǎn)換」和「重演」。

前者基于首次協(xié)調(diào)時的對象位置計算變換矩陣，后者則直接使用原始軌跡，無需額外變換。

對于類似物品傳遞等需要保持在運動學(xué)限制內(nèi)的協(xié)調(diào)任務(wù)，「重演」方案尤為有效。

順序子任務(wù)

在某些任務(wù)中，如「傾倒」任務(wù)，子任務(wù)的執(zhí)行順序至關(guān)重要。

例如，機器人首先需要用一只手將球倒入碗中，然后用另一只手將碗移到綠色墊子上。

為了解決這類順序需求，DexMimicGen實現(xiàn)了一種順序約束機制，明確規(guī)定了哪些子任務(wù)必須在其他子任務(wù)之前完成。

通過這種方式，執(zhí)行后續(xù)子任務(wù)的手臂會等待前一個子任務(wù)完成后再繼續(xù)，確保了任務(wù)流程的正確性。

數(shù)據(jù)如何生成

首先，源演示通過啟發(fā)式算法或人工標注被分解為每只手臂的子任務(wù)。

每只手臂的最終子任務(wù)需要進行協(xié)調(diào)（必須共同抬起托盤），因此該任務(wù)被標注為協(xié)調(diào)子任務(wù)，以便在數(shù)據(jù)生成過程中實現(xiàn)同步。

在數(shù)據(jù)生成開始時，場景會被隨機化，并選擇一個源演示。隨后，為每只手臂的各個子任務(wù)并行地迭代生成和執(zhí)行軌跡。

在此示例中，基于參考物體（托盤）的姿態(tài)，計算當前托盤姿態(tài)與源片段中的托盤姿態(tài)之間的相對變換。由于這些是協(xié)調(diào)子任務(wù)，因此這里使用該變換來轉(zhuǎn)換兩只手臂的源軌跡。

接著，應(yīng)用「協(xié)調(diào)子任務(wù)」中描述的同步執(zhí)行策略來執(zhí)行生成的軌跡。

值得注意的是，這里通過重放源演示中的手指關(guān)節(jié)動作來生成手指運動，因為手指運動始終是相對于末端執(zhí)行器的運動的。

每個生成的演示僅在任務(wù)成功時才被保留，整個過程將重復(fù)進行，直到生成了足夠數(shù)量的數(shù)據(jù)。

系統(tǒng)設(shè)計

為了構(gòu)建DexMimicGen，Zhengyu Jiang團隊建立了大量的仿真環(huán)境，并開發(fā)了一個遠程操作系統(tǒng)，支持在仿真和現(xiàn)實世界中收集源人類演示。

仿真環(huán)境

Zhengyu Jiang團隊引入了一系列多樣化的設(shè)置和任務(wù)，以展示DexMimicGen在不同機器人形態(tài)和操作行為下生成數(shù)據(jù)的能力。

他們主要專注于三種機器人形態(tài)：

(1) 配備并行爪夾具的雙手Panda手臂；

(2) 配備靈巧手的雙手Panda手臂；

(3) 配備靈巧手的GR-1類人機器人。

不同的機器人形態(tài)需要應(yīng)用不同的控制器。并且，針對每種機器人形態(tài)，他們分別設(shè)計了三種任務(wù)，總共九個任務(wù)。

這些任務(wù)涉及高精度操作（如穿線、部件裝配、裝箱、咖啡制作）、帶有關(guān)節(jié)的物體操作（如抽屜、托盤），以及長時間跨度的任務(wù)（如運輸）。

這些任務(wù)還需要克服多臂交互中的關(guān)鍵挑戰(zhàn)。其中一些任務(wù)包含協(xié)調(diào)子任務(wù)，要求兩只手臂協(xié)同完成子任務(wù)（穿線、運輸、裝箱、托盤抬升、罐子分類）。其他任務(wù)則要求按順序執(zhí)行子任務(wù)（部件裝配、抽屜清理、倒液、咖啡）。

遠程操作系統(tǒng)

為了收集任務(wù)的源演示，Zhengyu Jiang團隊針對每種機器人形態(tài)定制了不同的遠程操作方法。

對于配備并行爪夾具的雙手Panda手臂，他們使用了基于iPhone的遠程操作界面，用于捕捉人類手腕和爪夾動作。

對于配備靈巧手的機器人，他們實現(xiàn)了基于Apple Vision Pro的遠程操作系統(tǒng)，使用VisionProTeleop軟件收集手腕和手指姿態(tài)。

首先，他們需要將人類的姿態(tài)與機器人的姿態(tài)對齊，將人類的原始末端執(zhí)行器姿態(tài)轉(zhuǎn)換為機器人的姿態(tài)。

其中還包括一個人機校準過程，要求人類遠程操作員從固定姿態(tài)開始，系統(tǒng)會自動計算將人類姿態(tài)映射到機器人目標的相對變換矩陣。該校準過程適用于帶有靈巧手的雙手Panda手臂和GR-1類人機器人。

實驗結(jié)果

研究人員也做了大量實驗來證明DexMimicGen性能的優(yōu)越性。

首先，研究人員選取了5個樣本，運用DexMimicGen為每個任務(wù)生成了1000個演示，在評估過程中，研究人員發(fā)現(xiàn)了DexMimicGen具備以下性能優(yōu)勢：

提高成功率

相比于僅依賴源演示，DexMimicGen大幅提升了策略的成功率。在所有任務(wù)中，基于DexMimicGen數(shù)據(jù)集訓(xùn)練的機器人表現(xiàn)明顯優(yōu)于僅基于少量源數(shù)據(jù)訓(xùn)練的機器人。

例如，在抽屜整理任務(wù)中，成功率從0.7%躍升至76.0%；在穿線任務(wù)中，成功率從1.3%提升到69.3%；而在零部件組裝任務(wù)中，成功率則從3.3%提高到了80.7%。

適應(yīng)多樣初始狀態(tài)

DexMimicGen通過在默認的初始狀態(tài)分布（D0）中的源演示生成具有更廣泛變化的初始狀態(tài)分布數(shù)據(jù)集（D1和D2）。D1中物體具有更大的初始重置分布，D2則對關(guān)鍵物體的位置進行了重新設(shè)定。

如上表所示，基于這些數(shù)據(jù)集訓(xùn)練的策略在相同的擴展初始狀態(tài)分布下的評估中表現(xiàn)優(yōu)異，這表明DexMimicGen能夠在新的初始狀態(tài)分布上生成有價值的數(shù)據(jù)集。

跨基準數(shù)據(jù)生成

研究人員還將DexMimicGen應(yīng)用于BiGym——一個專注于人形機器人雙手操作任務(wù)的新模擬基準。

對于翻轉(zhuǎn)杯子、洗碗機裝載盤子和關(guān)閉所有杯板這三個任務(wù)，研究人員各自生成了1000個演示，分別達到了29.1%、43.6%和76.4%的數(shù)據(jù)生成成功率。

除此之外，研究人員還與替代方案進行了對比，結(jié)果發(fā)現(xiàn)DexMimicGen生成的數(shù)據(jù)集訓(xùn)練出來的策略性能普遍高于Demo-Noise基線58%以上，且Demo-Noise基線無法生成具有不同初始狀態(tài)的數(shù)據(jù)。

針對數(shù)據(jù)集大小對策略性能的影響，研究人員也發(fā)現(xiàn)隨著數(shù)據(jù)集從小到大的增長，策略性能有顯著提升，特別是在100到500和1000之間。

然而，當數(shù)據(jù)集從1000增至5000時，這種提升趨于平緩，說明不同任務(wù)的性能增益可能存在邊際效應(yīng)。