稚暉君后宇樹也來玩開源了:機器人操作數據集,采用抱抱臉LeRobot訓練測試,網友:泰褲辣!
繼稚暉君之后,國內又一家頭部機器人公司玩起了開源!
宇樹科技,開源Unitree G1機器人操作數據集,包括數據采集、學習算法、數據集和模型,并表示將持續更新。
更令網友意外的是,宇樹基于抱抱臉LeRobot開源框架訓練并測試。
抱抱臉聯合創始人兼CEO緊忙碼住轉發:
泰褲辣,LeRobot、huggingface和開源技術在機器人領域日益突出。
此套開源數據集目前包括擰瓶蓋倒水:
疊三色積木等5種操作:
網友對于宇樹這波開源紛紛豎起了大拇哥:
好哇好哇,希望更多公司能為機器人研究開源數據集。
具體都開源了啥?
具體來看,數據采集方面,目前使用蘋果Vision Pro對G1進行遙操作控制的倉庫,已超400star:
其中包含遙操作控制的代碼教程:
以及硬件配置圖、物料清單和安裝說明:
訓練方法如前所述,基于lerobot:
還有將前面遙操作采集的JSON格式數據轉為lerobot所需格式的教程。
最后就是數據集和模型,目前模型還顯示“尚未公開”,數據集使用配備有三指靈巧手的宇樹G1人形機器人收集,每張圖分辨率為640x480,每個手臂和靈巧手的狀態和動作維度為7。
包含五大操作數據集:
除了開頭所展示的擰瓶蓋倒水、堆疊紅、黃、綠三色木塊,還有將攝像頭放入相應包裝盒、收集物品并存儲、雙臂抓取紅色木塊并將其放入一個黑色長方形容器中:
宇樹G1 9.9萬元起,已量產
最后再來簡單介紹一下宇樹G1,量子位此前也有持續關注。
今年5月份首次亮相,當時官方首先展示的就是它的手部以及操作能力。
也是采用3指力控靈巧手,通過力位混合控制,能擰瓶蓋、砸核桃,還能做焊接。
在視覺傳感器方面,搭載了Intel RealSense D435和LIVOX-MID360 3D激光雷達,能夠實現360°的探測感知。
8月份,宇樹更是宣布G1可大規模量產了。
基于端到端深度強化學習和仿真訓練的技術路線,G1可快速升級迭代。
G1量產版性能更強,能單腿跳躍:
還能原地起跳360度轉身:
而且發售價9.9萬起,讓一眾同行坐不住。
如今伴隨G1數據集開源,距離讓機器人替我上班是不是又前進了一丟丟。