近日，英偉達(dá)CEO黃仁勛在今年CES的演講無疑讓整個(gè)科技圈為之沸騰。

他先是向全世界展示了搭載Blackwell新架構(gòu)的新一代卡皇RTX 5090，然后介紹了英偉達(dá)對(duì)于人形機(jī)器人發(fā)展的期盼和投入，并以令人印象深刻的畫面結(jié)尾——

「來自銀河通用的全場(chǎng)唯一一臺(tái)輪式具身大模型機(jī)器人Galbot G1將RTX 5090緩緩?fù)衅??！?/span>

發(fā)布會(huì)結(jié)束后，黃仁勛更是第一時(shí)間親自來到銀河通用所在的展區(qū)，與Galbot機(jī)器人進(jìn)行真機(jī)互動(dòng)。

一時(shí)間，數(shù)字智能和物理智能的融會(huì)貫通、AI基建和AI模型及硬件的協(xié)同發(fā)展、科技巨頭與超級(jí)創(chuàng)投的攜手比肩，迸發(fā)出了前所未有的科技生命力。

全球的目光隨之聚焦，究竟是什么讓這位「AI教父」如此執(zhí)著？為何唯獨(dú)這家公司承載了萬億巨頭的厚望？

具身智能無疑在今天的科技變革中扮演著核心角色，深刻著影響人類社會(huì)的發(fā)展變遷。

對(duì)于具身智能而言，「數(shù)據(jù)瓶頸」是業(yè)界公認(rèn)亟待解決的最大挑戰(zhàn)。有的團(tuán)隊(duì)認(rèn)為具身和自動(dòng)駕駛一樣主要依賴真機(jī)數(shù)據(jù)，有的團(tuán)隊(duì)則認(rèn)為需要采用大規(guī)模視頻數(shù)據(jù)學(xué)習(xí)的策略，來自全球的研究團(tuán)隊(duì)各持己見。

直至今日，國內(nèi)外已有多個(gè)研發(fā)團(tuán)隊(duì)發(fā)布百萬級(jí)真機(jī)數(shù)據(jù)，但真機(jī)數(shù)據(jù)要采到什么規(guī)模、達(dá)到怎樣的多樣性、機(jī)器人硬件迭代后數(shù)據(jù)如何跟進(jìn)等問題尚沒有明確答案。

今天，銀河通用聯(lián)合北京大學(xué)、北京智源人工智能研究院（BAAI）、香港大學(xué)研究人員正式發(fā)布全球首個(gè)端到端具身抓取基礎(chǔ)大模型GraspVLA。

作為全球首個(gè)完全基于仿真合成大數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的具身大模型，GraspVLA展現(xiàn)出比OpenVLA、π₀、RT-2、RDT等模型更強(qiáng)大的泛化能力和在真實(shí)場(chǎng)景中的實(shí)用潛力。

作為全球首個(gè)完全基于仿真合成大數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的具身大模型，GraspVLA展現(xiàn)出比OpenVLA、π₀、RT-2、RDT等模型更強(qiáng)大的泛化能力和在真實(shí)場(chǎng)景中的實(shí)用潛力。

伴隨著GraspVLA一同發(fā)布的，還有GraspVLA團(tuán)隊(duì)總結(jié)的具身基礎(chǔ)模型七大泛化「金標(biāo)準(zhǔn)」，按照Vision、Language、Action進(jìn)行不同分層，這些標(biāo)準(zhǔn)包括：光照泛化、干擾物泛化、平面位置泛化、高度泛化、背景泛化、物體類別泛化、閉環(huán)能力。

在此前各家發(fā)布的模型中，RDT初步展示了背景和類內(nèi)物體泛化的能力，OpenVLA、π₀、GR-2等進(jìn)一步展示了干擾物、平面位置泛化的能力。

如今，GraspVLA率先實(shí)現(xiàn)了在多種能力的泛化，開創(chuàng)了以仿真合成大數(shù)據(jù)為核心的具身大模型發(fā)展新范式。

VLA預(yù)訓(xùn)練到底能否泛化？GraspVLA團(tuán)隊(duì)給出七大金標(biāo)準(zhǔn)

GraspVLA團(tuán)隊(duì)表示，盡管近年來井噴式發(fā)展的具身VLA大模型在泛化性上取得了一定進(jìn)展，但遲遲未有產(chǎn)品落地，其原因在于從實(shí)驗(yàn)室到真實(shí)工作場(chǎng)景，模型難以通過各種環(huán)境因素動(dòng)態(tài)變化的重重考驗(yàn)。團(tuán)隊(duì)認(rèn)為不僅要關(guān)心任務(wù)能否被成功完成，更需關(guān)注任務(wù)在什么條件下可以成功完成。

銀河通用的研發(fā)團(tuán)隊(duì)向我們展示了對(duì)GraspVLA模型以下泛化能力的全面評(píng)測(cè)：

1. 光照泛化

在銀河通用帶來的GraspVLA大模型工作展示中，我們看到在明亮、極暗甚至劇烈變化的光照條件下，模型都能精準(zhǔn)執(zhí)行抓取任務(wù)：

（2倍速）

更極端的情況下，團(tuán)隊(duì)讓模型經(jīng)歷從明到暗，甚至是幾近完全黑暗的情況下對(duì)目標(biāo)物體進(jìn)行移動(dòng)，在實(shí)時(shí)觀測(cè)到目標(biāo)物體移動(dòng)后，大模型驅(qū)動(dòng)機(jī)器人立即朝移動(dòng)后的位置進(jìn)行抓取，展現(xiàn)了GraspVLA大模型在極端光照條件下的強(qiáng)大適應(yīng)能力與執(zhí)行力。

（2倍速）

2. 背景泛化

銀河通用還展示了GraspVLA大模型在不同背景環(huán)境下的適應(yīng)性，包括紅色桌布、星空?qǐng)D案等多種場(chǎng)景。

（桌面泛化，3倍速）

銀河通用發(fā)布的視頻中還指出，GraspVLA采用雙視角作為輸入，我們看到的視頻畫面對(duì)應(yīng)機(jī)器人正前方攝像頭視角。

當(dāng)背景快速動(dòng)態(tài)變化時(shí)，模型仍穩(wěn)定執(zhí)行任務(wù)，絲毫不受干擾，展現(xiàn)了GraspVLA大模型在動(dòng)態(tài)環(huán)境中對(duì)變化背景的強(qiáng)大適應(yīng)能力。

（背景墻泛化，3倍速）

3. 平面位置泛化

銀河通用團(tuán)隊(duì)展示了GraspVLA在平面上抓取任意位置目標(biāo)物體的能力，不論是在一堆物體中間，還是餐盤上，GraspVLA都能輕松抓取。

（3倍速）

4. 高度泛化

在展示模型對(duì)高度的泛化能力時(shí)，銀河通用團(tuán)隊(duì)讓GraspVLA抓取擺放在不同高度的球，GraspVLA穩(wěn)穩(wěn)抓?。?/span>

（3倍速）

5. 動(dòng)態(tài)干擾泛化

在GraspVLA工作時(shí)，往工作空間隨意丟物體進(jìn)行干擾，即使撞到目標(biāo)物體，也不影響它成功完成指令。

我們可以看到，在左上角視頻中，抓取目標(biāo)在桌面上劇烈旋轉(zhuǎn)時(shí)，GraspVLA也能定位到；在左下角視頻中，目標(biāo)物體胡桃夾子被撞走了至少三次，每次GraspVLA都明顯立即進(jìn)行了調(diào)整。

6. 閉環(huán)動(dòng)作輸出，不同姿態(tài)不同抓法

進(jìn)行抓取時(shí)，即使目標(biāo)物體被人為移動(dòng)位置、甚至從立著改為倒下，GraspVLA都能實(shí)時(shí)調(diào)整動(dòng)作完成抓?。?/span>

7. 零樣本Sim2Real抓取新物體

機(jī)器人領(lǐng)域公認(rèn)使用仿真合成數(shù)據(jù)訓(xùn)練模型具有Sim2Real Gap問題，然而，銀河通用強(qiáng)調(diào)，GraspVLA進(jìn)行上述測(cè)試的所有物體、環(huán)境均未參與任何訓(xùn)練。

此外，即使是從未出現(xiàn)在合成動(dòng)作數(shù)據(jù)中的類別，僅經(jīng)過互聯(lián)網(wǎng)圖文數(shù)據(jù)聯(lián)合預(yù)訓(xùn)練，GraspVLA也能準(zhǔn)確識(shí)別并把抓取能力泛化遷移：

快速對(duì)齊產(chǎn)品新需求？GraspVLA展現(xiàn)基座大模型屬性

經(jīng)過以上七大金標(biāo)準(zhǔn)的檢驗(yàn)，研究團(tuán)隊(duì)充分論證了GraspVLA作為全球首個(gè)端到端抓取大模型的零樣本泛化能力。

眾所周知，基座大模型的另一個(gè)重要屬性是，能夠通過少樣本迅速對(duì)齊用戶新需求。

研究團(tuán)隊(duì)表示，機(jī)器人模型落地過程中，不同場(chǎng)景會(huì)有不同的特殊需求，因此借助商超、工廠、家庭三個(gè)場(chǎng)景中的典型情形，進(jìn)一步檢驗(yàn)GraspVLA的快速適應(yīng)及遷移能力。

1. 迅速服從指定規(guī)范并「舉一反三」

團(tuán)隊(duì)以商超場(chǎng)景中按序取出箱中商品為例：雖然GraspVLA可以輕松抓起指定商品，但由于工作區(qū)有多個(gè)相同商品，模型不知道應(yīng)該先取哪個(gè)：

(未按照順序抓取指定商品，2倍速)

為此，研究團(tuán)隊(duì)采集了少量（少于一個(gè)人遙操一天）的按序抓取數(shù)據(jù)，GraspVLA就輕松理解了「順序」這一要求，充分展現(xiàn)基座模型的快速學(xué)習(xí)能力：

研究團(tuán)隊(duì)進(jìn)一步檢驗(yàn)了這一能力對(duì)后訓(xùn)練分布外情形（OOD）的泛化性。

盡管只采集了怡寶的數(shù)據(jù)，但GraspVLA將按序抓取這種行為自動(dòng)遷移到其他品牌的飲品（東方樹葉、農(nóng)夫山泉），按擺放順序分別抓取了瓶身顏色不同、瓶蓋大小不一的同類商品，充分驗(yàn)證了GraspVLA作為基礎(chǔ)大模型的泛化能力。

2. 迅速掌握新詞匯，拓展新類別

具身大模型落地工業(yè)場(chǎng)景時(shí)，一大挑戰(zhàn)是認(rèn)識(shí)這些行業(yè)專用的特殊零件，即，根據(jù)這些罕見詞匯找到對(duì)應(yīng)物體。

銀河通用的研發(fā)團(tuán)隊(duì)發(fā)現(xiàn)，盡管預(yù)訓(xùn)練的模型可以輕松抓起任意零件，但是常常會(huì)「抓錯(cuò)」，比如，指定「抓取車窗控制器」，模型卻抓起了接線座：

團(tuán)隊(duì)進(jìn)一步采集了少量軌跡進(jìn)行快速后訓(xùn)練，讓GraspVLA快速掌握了諸如接線座（wiring base）、三角板（triangular panel）、黑色軟管（black hose）等特殊工業(yè)名詞。

再結(jié)合其預(yù)訓(xùn)練期間對(duì)于物體平面位置擺放的泛化性，模型迅速學(xué)會(huì)了從任意擺放的密集場(chǎng)景中精準(zhǔn)找出對(duì)應(yīng)零件：

（3倍速）

3. 迅速對(duì)齊人類偏好

家庭場(chǎng)景中，用戶對(duì)機(jī)器人的行為會(huì)有特定的偏好，比如盡管經(jīng)過預(yù)訓(xùn)練的GraspVLA可以根據(jù)指令抓起放著牙膏牙刷的杯子，但會(huì)碰到內(nèi)壁。

同樣通過采集少量帶用戶偏好的抓取軌跡，GraspVLA就「聽懂了」抓取洗漱杯時(shí)，不能接觸杯子內(nèi)壁：

（對(duì)齊后 3倍速）

從上面的三種典型應(yīng)用場(chǎng)景來看，GraspVLA不僅「能力強(qiáng)」，還「懂人話」。

在新的場(chǎng)景中，直接部署預(yù)訓(xùn)練的GraspVLA，就能輕松實(shí)現(xiàn)物體抓取。而針對(duì)用戶的新需求，也僅需少量數(shù)據(jù)即可讓它快速調(diào)整。憑借這一能力，無論需要在何時(shí)何地部署，僅需人類簡(jiǎn)單的「指導(dǎo)」，機(jī)器人即可迅速「上崗干活」。

這充分展現(xiàn)了銀河通用團(tuán)隊(duì)提出的「大規(guī)模合成數(shù)據(jù)預(yù)訓(xùn)練」這種范式在商業(yè)落地中的潛力。

合成大數(shù)據(jù)驅(qū)動(dòng)的 VLA 預(yù)訓(xùn)練新范式

英偉達(dá)期望看到能夠托舉起未來世界的人形機(jī)器人，讓這些機(jī)器人在各類復(fù)雜任務(wù)中能夠自主執(zhí)行，擁有泛化的能力。然而，這一宏偉目標(biāo)在過去主流數(shù)據(jù)采集范式下面臨著兩大瓶頸。

瓶頸一：數(shù)據(jù)昂貴且稀缺。機(jī)器人技術(shù)的核心問題之一是大規(guī)模高質(zhì)量數(shù)據(jù)的獲取?，F(xiàn)有的訓(xùn)練數(shù)據(jù)采集方式人工成本高、資金開銷大、采集周期長(zhǎng)。此外，目前機(jī)器人硬件還在快速迭代，即使在現(xiàn)有硬件上高成本采集大規(guī)模數(shù)據(jù)，也可能迅速過時(shí)、與最新硬件不匹配，形成數(shù)據(jù)短板與沉沒成本。

瓶頸二：技能泛化性與通用性不足。受限于物理?xiàng)l件，真機(jī)數(shù)據(jù)采集往往無法覆蓋所有可能的實(shí)際應(yīng)用場(chǎng)景，導(dǎo)致訓(xùn)練出的模型難以泛化，因此目前的很多機(jī)器人只能在特定的環(huán)境條件和特定的物體下完成任務(wù)，缺乏對(duì)新環(huán)境的適應(yīng)能力。

銀河通用表示，GraspVLA能達(dá)到如今的驚艷效果，離不開團(tuán)隊(duì)多年研究合成仿真數(shù)據(jù)的經(jīng)驗(yàn)和對(duì)使用合成仿真數(shù)據(jù)的堅(jiān)持。

為了突破上述兩大瓶頸，銀河通用的團(tuán)隊(duì)開創(chuàng)性地研發(fā)出一套針對(duì)端到端VLA模型預(yù)訓(xùn)練的全仿真合成數(shù)據(jù)生產(chǎn)管線，并在NVIDIA Isaac平臺(tái)的基礎(chǔ)上，進(jìn)一步提高數(shù)據(jù)的物理真實(shí)性和物理渲染的并行度。

這套數(shù)據(jù)生產(chǎn)管線在短短一周內(nèi)就能生成全球規(guī)模最大的十億級(jí)機(jī)器人操作數(shù)據(jù)集。不僅極大降低了數(shù)據(jù)生產(chǎn)的時(shí)間成本、人力成本、資金成本，還廣泛提高了數(shù)據(jù)對(duì)各種場(chǎng)景的覆蓋率。如此規(guī)模和質(zhì)量的數(shù)據(jù)，是GraspVLA強(qiáng)大的抓取泛化能力的前提。

此次發(fā)布中，GraspVLA展現(xiàn)出的強(qiáng)大泛化與高效對(duì)齊能力引發(fā)我們深思：這一路線所展現(xiàn)出的全方位優(yōu)越性，是否將一改業(yè)界對(duì)仿真合成路線的看法，開創(chuàng)合成大數(shù)據(jù)驅(qū)動(dòng)的VLA預(yù)訓(xùn)練新范式？這是否意味著大規(guī)模仿真合成數(shù)據(jù)預(yù)訓(xùn)練將取代現(xiàn)有的高成本人工采集方案，帶領(lǐng)具身大模型的發(fā)展進(jìn)入新的時(shí)代？

銀河通用還透露，聯(lián)合研發(fā)團(tuán)隊(duì)在過去一年里也在導(dǎo)航VLA模型（NaVid系列模型）的研究上取得了重大突破，將陸續(xù)展示和介紹該系列導(dǎo)航VLA模型的泛化能力和涌現(xiàn)現(xiàn)象。

團(tuán)隊(duì)表示，他們后續(xù)將不斷融合團(tuán)隊(duì)多年積累，推出全面融合抓放、關(guān)節(jié)類物體操作、柔性物體操作等各類技能的全能大模型，繼續(xù)走以仿真合成數(shù)據(jù)為唯一預(yù)訓(xùn)練來源的道路，確保所有大模型能夠以最小成本迅速進(jìn)化，邁向具身智能領(lǐng)域的下一個(gè)高峰。