DeepMind 今天發(fā)布了 Genie 2，一個(gè)超強(qiáng)的基礎(chǔ)世界模型，可以生成各種 3D 環(huán)境，用來(lái)訓(xùn)練和評(píng)估具身AI 智能體。Genie 2 是 DeepMind 之前推出的 2D 世界生成模型 Genie 1 的升級(jí)版，在 3D 世界生成方面取得了顯著的進(jìn)步。 只需一張?zhí)崾緢D片，就能生成一個(gè)可互動(dòng)的 3D 世界，不管是人還是 AI，都能用鍵盤鼠標(biāo)在里面玩耍！像是一個(gè)無(wú)限可能的“終極沙盒”！

相比李飛飛世界實(shí)驗(yàn)室發(fā)布的圖片生成3D可交互的物理世界的世界模型，個(gè)人感覺谷歌的Genie 2要強(qiáng)很多，李飛飛世界模型文章李飛飛「世界實(shí)驗(yàn)室」重磅推出 AI“造物主”：一張圖片生成 3D 世界“任意門”

DeepMind 認(rèn)為 Genie 2 是解決 Embodied 智能體(具身智能體)訓(xùn)練難題的關(guān)鍵，它提供了一個(gè)安全且無(wú)限豐富的訓(xùn)練環(huán)境，有助于推動(dòng) Embodied AI 和 AGI 的發(fā)展

游戲，AI 進(jìn)步的“催化劑”：

DeepMind 從創(chuàng)立之初就非常重視游戲在 AI 研究中的作用，從早期的 Atari 游戲到 AlphaGo、AlphaStar，再到現(xiàn)在的通用智能體，游戲一直是 DeepMind 研究的核心。但是，訓(xùn)練更通用的 Embodied 智能體，一直受限于訓(xùn)練環(huán)境的豐富性和多樣性?，F(xiàn)在，Genie 2 的出現(xiàn)，就是要解決這個(gè)問題！

Genie 2 有哪些神奇之處？

Genie 2 是一個(gè)世界模型，可以模擬虛擬世界，包括各種動(dòng)作（例如跳躍、游泳等）的后果。它基于大規(guī)模視頻數(shù)據(jù)集訓(xùn)練，并展現(xiàn)出各種涌現(xiàn)能力，例如物體交互、復(fù)雜角色動(dòng)畫、物理效果等。這些能力并非通過顯式編程實(shí)現(xiàn)，而是在大規(guī)模訓(xùn)練中自發(fā)涌現(xiàn)的。 Genie 2 還擁有其他“超能力”：

1.物體的承受能力和相互作用： Genie 2可以 模擬各種對(duì)象交互，例如氣球爆裂、門打開和發(fā)射炸藥桶

2.NPCs NPC： Genie 2 對(duì)其他智能體甚至與它們的復(fù)雜交互進(jìn)行建模

3.智能響應(yīng)玩家操作： 它能識(shí)別角色并正確移動(dòng)，還能根據(jù)玩家采取的不同動(dòng)作，生成不同的“反事實(shí)體驗(yàn)”，這意味著可以從同一初始幀生成不同的軌跡，這對(duì)于訓(xùn)練智能體非常有價(jià)值

4.超強(qiáng)記憶力： 即使場(chǎng)景不在視野中，它也能記住，并在再次出現(xiàn)時(shí)準(zhǔn)確渲染

5.持續(xù)生成新內(nèi)容： 它可以不斷生成新的內(nèi)容，并保持世界的一致性，最長(zhǎng)可達(dá)一分鐘

6.多樣化的環(huán)境： 第一人稱視角、等距視角、第三人稱駕駛視角，想怎么玩就怎么玩

7.各種物理效果： 水、煙、重力、光照、反射，應(yīng)有盡有

8.真實(shí)世界圖像作為提示： Genie 2 的生成能力不僅僅局限于文字描述（text prompts），還可以通過輸入真實(shí)的圖片作為“提示”來(lái)生成對(duì)應(yīng)的虛擬環(huán)境。這種功能擴(kuò)展了模型的適配能力，讓它可以直接從現(xiàn)實(shí)世界的圖像中獲取靈感，創(chuàng)造出動(dòng)態(tài)、逼真的虛擬世界，例如模擬風(fēng)中吹動(dòng)的草或河流中流動(dòng)的水

快速原型設(shè)計(jì)利器

Genie 2 還能快速創(chuàng)建各種交互式體驗(yàn)原型，方便研究人員快速實(shí)驗(yàn)新的環(huán)境，訓(xùn)練和測(cè)試 embodied AI 智能體。藝術(shù)家和設(shè)計(jì)師也可以用它快速創(chuàng)建原型，加速環(huán)境設(shè)計(jì)過程

AI 智能體在 Genie 2 中盡情玩耍

研究人員可以用 Genie 2 創(chuàng)建各種環(huán)境，讓 AI 智能體在其中執(zhí)行任務(wù)，評(píng)估它們的學(xué)習(xí)能力。DeepMind 展示了一個(gè)名為 SIMA 的智能體，它是 DeepMind 與游戲開發(fā)者合作開發(fā)的， 它可以在 Genie 2 生成的陌生環(huán)境中聽從指令完成任務(wù)，這也有助于評(píng)估 Genie 2 生成環(huán)境的一致性

SIMA 代理旨在通過遵循自然語(yǔ)言指令來(lái)完成一系列 3D 游戲世界中的任務(wù)。在這里，我們使用 Genie 2 生成一個(gè)有兩扇門（一扇藍(lán)色門和一扇紅色門）的 3D 環(huán)境，并向 SIMA 代理提供打開每扇門的指令。在此示例中，SIMA 通過鍵盤和鼠標(biāo)輸入控制虛擬人物，而 Genie 2 生成游戲幀

技術(shù)

Genie 2 是一個(gè)自回歸的潛在擴(kuò)散模型，基于大規(guī)模視頻數(shù)據(jù)集訓(xùn)練。它采用類似大型語(yǔ)言模型的因果掩碼，可以逐幀地自回歸采樣。 DeepMind 還開發(fā)了一個(gè)蒸餾版本的 Genie 2，可以在實(shí)時(shí)運(yùn)行，但輸出質(zhì)量會(huì)有所降低