稚暉君開源百萬機器人真機數(shù)據(jù)集
年末大禮包，稚暉君他又雙叒來開源了！
百萬真機數(shù)據(jù)集開源項目AgiBot World，也是全球首個基于全域真實場景、全能硬件平臺、全程質(zhì)量把控的大規(guī)模機器人數(shù)據(jù)集。
該項目由稚暉君具身智能創(chuàng)業(yè)項目智元機器人，攜手上海AI Lab、國家地方共建人形機器人創(chuàng)新中心以及上海庫帕思聯(lián)合發(fā)布。
GitHub和抱抱臉上已經(jīng)可以自取了（本文文末附直通車）～
說起來，此前在該領(lǐng)域在全球內(nèi)，不是沒有玩家做過大規(guī)模的數(shù)據(jù)集：
比如谷歌DeepMind曾構(gòu)建過Open X-Embodiment數(shù)據(jù)集，數(shù)據(jù)整合自22種不同本體的機器人。
但其中大部分數(shù)據(jù)缺乏統(tǒng)一標準化的采集流程，且許多用于數(shù)據(jù)采集的機器人構(gòu)型已經(jīng)過時，數(shù)據(jù)質(zhì)量格式參差不齊——這就可能在機器人策略學習過程中帶來副作用。
△谷歌DeepMind的Open X-Embodiment
又比如斯坦福、UC伯克利、谷歌等構(gòu)建的DROID數(shù)據(jù)集，涵蓋了相對豐富的場景與技能，雖然盡可能實現(xiàn)規(guī)范化的數(shù)據(jù)采集流程。
但作者團隊自己在后續(xù)研究中指出，DROID存在大量低質(zhì)量數(shù)據(jù)，反而讓機器人越學越迷茫。
2024年以來，具身智能備受矚目，行業(yè)玩家紛紛涌現(xiàn)，很多初創(chuàng)公司都基于自采集的大規(guī)模高質(zhì)量雙臂機器人數(shù)據(jù)訓練的模型展現(xiàn)出了整理、分揀、洗衣等執(zhí)行復雜動作的能力。
這雖然進一步印證了高質(zhì)量數(shù)據(jù)在當前具身智能領(lǐng)域研究階段的重要性，但這類數(shù)據(jù)集一般僅作自用。
據(jù)介紹，相比于Open X-Embodiment數(shù)據(jù)集，此次開源的AgiBot World長程數(shù)據(jù)規(guī)模高出10倍，場景范圍覆蓋面擴大100倍，數(shù)據(jù)質(zhì)量從實驗室級上升到工業(yè)級標準。
一起來看看，這個數(shù)據(jù)集包含了些什么——
日常生活中多樣化任務(wù)，可多機器人協(xié)作
官方資料顯示，AgiBot World數(shù)據(jù)集收錄了80余種日常生活中的多樣化技能。
從抓取、放置、推、拉等基礎(chǔ)操作，到攪拌、折疊、熨燙等精細長程、雙臂協(xié)同復雜交互，幾乎涵蓋了日常生活所需的絕大多數(shù)動作需求。
下面舉幾個栗子～
毫米級精細控制。
演示場景為插內(nèi)存條。需要如神經(jīng)纖維般靈敏的末端觸覺傳感器助力機器人精準對接，稍有不慎可能導致設(shè)備損壞。
繁瑣長流程家務(wù)整理。
該任務(wù)下演示場景1為整理洗碗機。
畫面中，勺筷碗盤層層堆疊在洗碗池里。在這條數(shù)據(jù)中，機器人將雜亂的餐具逐一整理到洗碗機相應(yīng)卡槽中。
該任務(wù)下演示場景2為掛式熨燙衣物。
機器人通過雙手協(xié)作，一只手抓住襯衫的一角，另一只手控制掛燙機與衣物的距離，熨燙衣物褶皺。
搭建物體搬運。
搬運大件物體這項任務(wù)，目前對單機器人來說是個老大難。
數(shù)據(jù)集中采集的是雙機器人協(xié)作，分擔重量的同時，通過實時調(diào)整位置與角度，確保物體搬運過程中的穩(wěn)定安全。
盡可能覆蓋日常生產(chǎn)、生活全域場景
團隊介紹，AgiBot World是從智元機器人自建的大規(guī)模數(shù)據(jù)采集工廠與應(yīng)用實驗基地中采集的，采集空間總面積超過4000平方米，包含3000多種真實物品。
為了盡可能覆蓋機器人在生產(chǎn)、生活中的典型應(yīng)用需求，為機器人提供高度真實的生產(chǎn)生活環(huán)境，采集環(huán)境包含超過100種真實場景、3000多種物品。
其中，80%的任務(wù)為長程任務(wù)，時長集中在60s-150s之間，且涵蓋多個原子技能，是DROID和OpenX-Embodiment工作的5倍。
值得一提的是，按照日常生活真實需求，團隊主要復刻了5個核心場景，分別是：
家居（40%）、餐飲（20%）、工業(yè)（20%）、商超（10%）和辦公（10%）。
主打的就是通過多場景的高度還原與任務(wù)設(shè)計，為機器人研發(fā)和測試構(gòu)建一個能夠?qū)崿F(xiàn)具身智能的必要條件。
首先，家居場景。
主要再現(xiàn)真實住宅布局，包括臥室、客廳、廚房、衛(wèi)生間等核心空間。有助于訓練機器人家務(wù)清潔、物品整理和廚房任務(wù)等。
在客廳，機器人可以精確控制機械臂抓取花材，精確定位花瓶的插孔，將花朵按計劃插入適當位置。
也可以使用清掃工具對地面進行全面清潔，包括碎屑、灰塵和液體等。
還可以清理家居表面的灰塵和污垢，精確控制撣子或軟布進行擦拭，避免劃傷表面。
讓我們把視線從客廳轉(zhuǎn)換到廚房。
在廚房，機器人可以根據(jù)食材種類和沙拉配方，完成切割、混合和裝盤操作，也可以控制清潔工具對瓶內(nèi)外進行刷洗，去除污漬。
如果再把場景切換到衛(wèi)生間，機器人可以精準控制機械臂使用刷子清潔衛(wèi)生間馬桶。
其次，餐飲場景。
主要實現(xiàn)智能服務(wù)體驗，模擬前廳、后廚與用餐區(qū)域，包括點餐臺、備餐區(qū)、餐桌等。有助于訓練機器人實現(xiàn)餐廳服務(wù)（點餐、上菜、清理餐桌）、食材傳遞、后廚協(xié)作等。
再者，工業(yè)場景。
主要模擬分揀與物流自動化，復刻工業(yè)倉庫與生產(chǎn)線，包括分揀系統(tǒng)、打包設(shè)備、傳輸帶等。有助于訓練機器人實現(xiàn)物料分揀、包裝打包、物流搬運等。
在工廠，機器人在流水線上利用機械臂精準控制將物品放入指定的包裝盒中，實現(xiàn)物品自動打包。
還有商超場景。
這一場景下，主要高度還原超市貨架布局與收銀區(qū)設(shè)計，包含生鮮、日用、冷凍等多個品類區(qū)域。有助于訓練機器人模擬物品上架、貨物盤點、顧客引導、無人結(jié)算等。
在超市，機器人可以精準控制掃碼槍對待結(jié)算物品進行掃描和幫助客人裝袋。
采集本體過硬+嚴控數(shù)據(jù)質(zhì)量
上面所提到的AgiBot World的所有數(shù)據(jù)，都是由下面這款機器人采集的：
它具有以下幾個特點：
- 360°感知：8個攝像頭環(huán)繞式布局，實時全方位感知周圍環(huán)境的動態(tài)變化。
- 靈巧操作：可配備具有6個主動自由度的靈巧手，保障動作精準且靈活，完成多種復雜操作。
- 末端精細感知：標配末端六維力傳感器，并可配備高精度視觸覺傳感器，能夠感知力的微小變化，做到“拿捏有度”。
- 高自由度：全身最高32個自由度，應(yīng)對洗衣、做飯、分揀、搬運等復雜任務(wù)。
此外，由于AgiBot World的超大規(guī)模真實數(shù)據(jù)特性，團隊通過專業(yè)培訓、多級質(zhì)量把控、全程人工在環(huán)，以確保嚴格精細化控制數(shù)據(jù)質(zhì)量。
在任務(wù)設(shè)計環(huán)節(jié)，AgiBot World從設(shè)計初稿到設(shè)計迭代流程，均邀請了學術(shù)、工業(yè)、消費者來進行多視角任務(wù)把關(guān)。
在數(shù)據(jù)采集環(huán)節(jié)，由管理體系下的專業(yè)管理圖那對來保障采集員培訓和采集質(zhì)量把控。
在審核標注環(huán)節(jié)，首先會經(jīng)過端云兩側(cè)，嚴格篩選采集的數(shù)據(jù)，自動剔除不符合要求的數(shù)據(jù)。
此外專業(yè)審核員會人工對全量數(shù)據(jù)進行逐幀審核，確保每一個動作都符合任務(wù)標準，并對關(guān)鍵幀和數(shù)據(jù)特性進行多維度標注。
在算法驗證環(huán)節(jié)，通過人工審核的數(shù)據(jù)，還會由AgiBot World團隊進一步通過算法進行驗證。
對于未能通過驗證的數(shù)據(jù)，會重新設(shè)計任務(wù)進行數(shù)據(jù)補采，確保數(shù)據(jù)可用性。
One More Thing
這次開源AgiBot World數(shù)據(jù)集，是稚暉君在三個月內(nèi)的第三次開源舉動。
第一次是9月底，開源了專為具身智能打造的輕量化、高性能通信框架AimRT。
上一次是10月24日（沒錯就是踩點1024），智元人形機器人靈犀X1全套資料全球開源，包括設(shè)計圖紙和代碼。
至于下一步——
量子位得來的消息是，開源，開源，還是開源（莫不是稚暉君想做源神）。
內(nèi)幕消息一并放在這里，大家就等著他慢慢慢慢慢慢填坑吧，真的（真誠臉.jpg）。
- 百萬真機全量數(shù)據(jù)將陸續(xù)開源；
- 千萬仿真數(shù)據(jù)同步推送，支持更泛化和更通用的大模型訓練；
- 發(fā)布具身基座大模型，支持模型微調(diào)，賦能千行百業(yè)；
- 發(fā)布全套工具鏈，實現(xiàn)采集、訓練和評測完美閉環(huán)；
- 舉辦一系列AgiBot World Challenge。
GitHub鏈接：
https://github.com/OpenDriveLab/AgiBot-World
抱抱臉鏈接:
https://huggingface.co/agibot-world
項目主頁：
