谷歌發布基礎世界模型：11B參數，能生成可交互虛擬世界

作者：機器之心 2024-02-27 09:19:13

谷歌定義了生成式 AI 的全新范式 —— 生成式交互環境（Genie，Generative Interactive Environments）。

Sora 問世才不到兩個星期，谷歌的世界模型也來了，能力看起來更強大：它生成的虛擬世界「自主可控」。

剛剛，谷歌定義了生成式 AI 的全新范式 —— 生成式交互環境（Genie，Generative Interactive Environments）。Genie 是一個 110 億參數的基礎世界模型，可以通過單張圖像提示生成可玩的交互式環境。

我們可以用它從未見過的圖像進行提示，然后與自己想象中的虛擬世界進行互動。

不管是合成圖像、照片甚至手繪草圖，Genie 都可以從中生成無窮無盡的可玩世界。

Genie 由三個部分組成：一個潛在動作模型，用于推斷每對幀之間的潛在動作；一個視頻 tokenizer，用于將原始視頻幀轉換為離散 token；一個動態模型，用于在給定潛在動作和過去幀 token 的情況下，預測視頻的下一幀。

看到這項技術發布，很多人表示：谷歌又要來領導 AI 技術了。

谷歌還提出，Genie 學到的潛在動作可以轉移到真實的人類設計的環境中。在這個假設基礎上，谷歌針對機器人視頻訓練了一個 Genie 模型，作為機器人領域潛在世界模型應用的概念驗證。

被顛覆的游戲、設計、XR、機器人行業……

我們可以從四個維度來理解 Genie 的革命性意義。

首先，Genie 可以在沒有動作標簽時學習控制。

具體來說，Genie 借助大量公開的互聯網視頻數據集進行了訓練，沒有任何動作標簽數據。

這本來是一個挑戰，因為互聯網視頻通常沒有關于正在執行哪個動作、應該控制圖像哪一部分的標簽，但 Genie 能夠專門從互聯網視頻中學習細粒度的控制。

對于 Genie 而言，它不僅了解觀察到的哪些部分通常是可控的，而且還能推斷出在生成環境中一致的各種潛在動作。需要注意的是，相同的潛在動作如何在不同的 prompt 圖像中產生相似的行為。

其次，Genie 可以培養下一代「創作者」（creator）。

只需要一張圖像就可以創建一個全新的交互環境，這為生成和進入虛擬世界的各種新方法打開了大門。例如，我們可以使用最先進的文本生成圖像模型來生成起始幀，然后與 Genie 一起生成動態交互環境。

在如下動圖中，谷歌使用 Imagen2 生成了圖像，再使用 Genie 將它們變為現實：

Genie 能做到的不止如此，它還可以應用到草圖等人類設計相關的創作領域。

或者，應用在真實世界的圖像中：

再次，谷歌認為 Genie 是實現通用智能體的基石之作。以往的研究表明，游戲環境可以成為開發 AI 智能體的有效測試平臺，但常常受到可用游戲數量的限制。

現在借助 Genie，未來的 AI 智能體可以在新生成世界的無休止的 curriculum 中接受訓練。谷歌提出一個概念證明，即 Genie 學到的潛在動作可以轉移到真實的人類設計的環境中。

最后，谷歌表示，Genie 是一種通用方法，可以應用于多個領域，而不需要任何額外的領域知識。

盡管所用數據更多是 2D Platformer 游戲游戲和機器人視頻，但該方法具備通用性，適用于任何類型的領域，并可擴展到更大的互聯網數據集。

谷歌在 RT1 的無動作視頻上訓練了一個較小的 2.5B 模型。與 Platformers 的情況一樣，具有相同潛在動作序列的軌跡通常會表現出相似的行為。

這表明 Genie 能夠學習一致的動作空間，這可能適合訓練機器人，打造通用化的具身智能。

技術揭秘：論文《Genie: Generative Interactive Environments》已公布

谷歌 DeepMind 已經放出了 Genie 論文。

論文地址：https://arxiv.org/pdf/2402.15391.pdf
項目主頁：https://sites.google.com/view/genie-2024/home?pli=1

論文的共同一作多達 6 人，其中包括華人學者石宇歌（Yuge (Jimmy) Shi）。她目前是谷歌 DeepMind 研究科學家， 2023 年獲得牛津大學機器學習博士學位。

方法介紹

Genie 架構中的多個組件基于 Vision Transformer (ViT) 構建而成。值得注意的是，由于 Transformer 的二次內存成本給視頻領域帶來了挑戰，視頻最多可以包含 ??(10^4 ) 個 token。因此，谷歌在所有模型組件中采用內存高效的 ST-transformer 架構（見圖 4），以此平衡模型容量與計算約束。

Genie 包含三個關鍵組件（如下圖所示）：

1) 潛在動作模型（Latent Action Model ，LAM），用于推理每對幀之間的潛在動作 ??；

2) 視頻分詞器（Tokenizer），用于將原始視頻幀轉換為離散 token ??；

3) 動態模型，給定潛在動作和過去幀的 token，用來預測視頻的下一幀。

具體而言：

潛在動作模型：為了實現可控的視頻生成，谷歌將前一幀所采取的動作作為未來幀預測的條件。然而，此類動作標簽在互聯網的視頻中可用的很少，并且獲取動作注釋的成本會很高。相反，谷歌以完全無監督的方式學習潛在動作（見圖 5）。

視頻分詞器：在之前研究的基礎上，谷歌將視頻壓縮為離散 token，以降低維度并實現更高質量的視頻生成（見圖 6）。實現過程中，谷歌使用了 VQ-VAE，其將視頻的 ?? 幀作為輸入，從而為每個幀生成離散表示：，其中?? 是離散潛在空間大小。分詞器在整個視頻序列上使用標準的 VQ-VQAE 進行訓練。

動態模型：是一個僅解碼器的 MaskGIT transformer（圖 7）。

Genie 的推理過程如下所示

實驗結果

擴展結果

為了研究模型的擴展行為，谷歌對參數量為 2.7B 到 41M 的模型進行了實驗來探討模型大小和批大小的影響，實驗結果如下圖 9 所示。

可以觀察到，模型大小增加，最終訓練損失會減少。這有力地表明 Genie 方法受益于擴展。同時，增加批大小也會給模型性能帶來增益。

定性結果

谷歌展示了在 Platformers 數據集上訓練的 Genie 11B 參數模型和在 Robotics 數據集上訓練的較小模型的定性實驗結果。結果表明，Genie 模型可以生成跨不同領域的高質量、可控視頻。值得注意的是，谷歌僅使用分布外（OOD）圖像 prompt 來定性評估其平臺訓練模型，這表明 Genie 方法的穩健性和大規模數據訓練的價值。