隨著 OpenAI 今年 2 月發(fā)布 Sora，世界模型（World Model）再次成為了 AI 領(lǐng)域的熱門。

世界模型，即通過預(yù)測未來的范式對數(shù)字世界和物理世界進(jìn)行理解，一直以來被認(rèn)為是通往通用人工智能（AGI）的關(guān)鍵路徑之一，與當(dāng)前大模型推崇的智能體（Agent）方向互相區(qū)分。

世界模型的研究促進(jìn)了交互式內(nèi)容的創(chuàng)建，并為有根據(jù)的、長期的推理提供了基礎(chǔ)。當(dāng)前的基礎(chǔ)模型并不能完全滿足通用世界模型的功能——大型語言模型（LLM）受到對語言模態(tài)的依賴以及對物理世界有限理解的限制，而視頻模型（如 Sora）則缺乏對世界模擬的交互式動作控制。

在 UC San Diego、穆罕默德?本?扎耶德人工智能大學(xué)（MBZUAI）等機(jī)構(gòu)的研究中，人們通過引入 Pandora 向構(gòu)建通用世界模型邁出了一步。

MBZUAI 校長邢波（Eric Xing）表示，Pandora 是一個可通過語言命令實時操控的世界模型，能夠在視覺空間中實時推理概念層面。是時候超越語言世界中的 LLM，進(jìn)入物理和感官世界了！

Pandora 是一種混合自回歸擴(kuò)散模型，可通過生成視頻來模擬世界狀態(tài)，并允許通過自由文本動作（free-text action）進(jìn)行實時控制。Pandora 通過大規(guī)模預(yù)訓(xùn)練和指令調(diào)整實現(xiàn)了領(lǐng)域通用性、視頻一致性和可控性。

更加重要的是，Pandora 通過集成預(yù)訓(xùn)練的 LLM（7B）和預(yù)訓(xùn)練的視頻模型，繞過了從頭開始訓(xùn)練的成本，只需要額外的輕量級微調(diào)。作者展示了 Pandora 在不同領(lǐng)域（室內(nèi) / 室外、自然 / 城市、人類 / 機(jī)器人、2D/3D 等）的廣泛輸出能力。結(jié)果表明，通過更大規(guī)模的訓(xùn)練，我們能夠構(gòu)建更強(qiáng)大的通用世界模型。

• 論文：Pandora : Towards General World Model with Natural Language Actions and Video States
• 論文地址：https://world-model.maitrix.org/assets/pandora.pdf
• 項目地址：https://github.com/maitrix-org/Pandora
• 項目展示頁面：https://world-model.maitrix.org/

該研究展示了一系列先前模型不具有的特性：

• 能模擬廣泛領(lǐng)域的視頻狀態(tài)：Pandora 能夠生成廣泛領(lǐng)域的視頻，例如室內(nèi) / 室外、自然 / 城市、人類 / 機(jī)器人、2D/3D 和其他場景。這種領(lǐng)域的通用性主要?dú)w功于大規(guī)模視頻預(yù)訓(xùn)練（繼承自預(yù)訓(xùn)練視頻模型）。 
• 該模型允許通過自由文本動作進(jìn)行動態(tài)控制：Pandora 接受自然語言動作描述作為視頻生成期間的輸入，以指導(dǎo)未來的世界狀態(tài)。這與以前的文本到視頻模型有很大不同，以前的文本到視頻模型僅允許在視頻開頭出現(xiàn)文本提示。動態(tài)控制實現(xiàn)了世界模型的承諾，支持交互式內(nèi)容生成并增強(qiáng)穩(wěn)健的推理和規(guī)劃。該功能是通過模型的自回歸架構(gòu)（允許隨時輸入文本）、預(yù)訓(xùn)練的 LLM 主干（可以理解任何文本表達(dá)式）和指令調(diào)整（可以大大增強(qiáng)控制的有效性）來實現(xiàn)的。 
• 動作可控性跨域遷移：如前所述，使用高質(zhì)量數(shù)據(jù)進(jìn)行指令調(diào)整使模型能夠?qū)W習(xí)有效的動作控制，并遷移到不同的新領(lǐng)域。新模型從特定領(lǐng)域?qū)W到的動作可以無縫地應(yīng)用于不同新領(lǐng)域。 
• 自回歸模型主干支持更長的視頻：基于擴(kuò)散架構(gòu)的現(xiàn)有視頻生成模型通常會生成固定長度（例如 2 秒）的視頻。通過將預(yù)訓(xùn)練視頻模型與 LLM 自回歸主干集成，Pandora 能夠以自回歸方式無限延長視頻持續(xù)時間。結(jié)合額外的訓(xùn)練（例如指令調(diào)整），作者證明 Pandora 可以生成更高質(zhì)量的更長視頻（可長達(dá) 8 秒）。

方法 

模型架構(gòu) 

Pandora 是一個自回歸世界模型。給定世界先前的狀態(tài)（例如圖像或視頻剪輯）和自然語言動作描述，它可以預(yù)測世界的下一個狀態(tài)（以視頻剪輯的形式）。 

如下圖 2 所示，Pandora 的兩個核心組件包括自回歸主干網(wǎng)絡(luò)（源自預(yù)訓(xùn)練 LLM）和視頻生成器（使用預(yù)訓(xùn)練視頻模型進(jìn)行初始化）。為了將這兩個組件拼接在一起，Pandora 還添加了其他必要的組件，包括視覺編碼器，以及分別將視覺編碼器連接到 LLM 主干和將 LLM 主干連接到視頻生成器的兩個適配器。

階段性訓(xùn)練 

通用世界模型需要實現(xiàn)一致性、可控性和通用性，即它需要生成一致的視頻來準(zhǔn)確描述世界狀態(tài)，允許在視頻生成過程中隨時接受自然語言動作描述來進(jìn)行動態(tài)控制，并跨越所有不同的領(lǐng)域執(zhí)行上述操作（具有不同的場景和動作）。 

直接訓(xùn)練世界模型需要大量高質(zhì)量序列（視頻 S1、文本 A1、視頻 S2……）作為訓(xùn)練數(shù)據(jù)，而這在實踐中很難獲得。

因此，該研究設(shè)計了一個兩階段的訓(xùn)練策略，包括預(yù)訓(xùn)練和指令調(diào)整。

預(yù)訓(xùn)練階段旨在讓模型獲得一些關(guān)鍵能力，包括：

• 視頻生成器的一致、通用視頻生成能力；
• 自回歸主干網(wǎng)絡(luò)的通用文本理解能力，以處理動作；
• 兩個組件之間的表征空間對齊能力。 

表 1 總結(jié)了該研究收集到的數(shù)據(jù)，主要來自公共語料庫和數(shù)據(jù)處理模擬器。

定性結(jié)果 

研究論文展示了一些定性結(jié)果，表明 Pandora 作為世界模擬器的核心功能，未來該研究將提供更多定量結(jié)果。

跨域的即時控制 

Pandora 是一個通用世界模型，能夠生成跨廣泛領(lǐng)域的視頻。它允許通過自由文本動作進(jìn)行動態(tài)控制，即它可以在視頻生成期間隨時接受文本動作控制并相應(yīng)地預(yù)測未來的世界狀態(tài)。

Pandora 模型能夠理解現(xiàn)實世界的物理概念，可以生成演示基本物理現(xiàn)象的視頻：

動作可控性遷移

雖然一些動作及其相應(yīng)的運(yùn)動模式只出現(xiàn)在一些模擬數(shù)據(jù)中，但 Pandora 可以將動作可控性遷移到不同的未見領(lǐng)域。如下圖所示圖，Pandora 分別將 Coinrun 的 2D 游戲能力和 HM3D 的 3D 模擬器能力遷移到其他未見領(lǐng)域。

自回歸生成更長的視頻

借助自回歸主干網(wǎng)絡(luò)，Pandora 能夠以自回歸方式生成更高質(zhì)量的更長視頻。Pandora 接受最長 5 秒（40 幀）的視頻訓(xùn)練，但它能夠生成更長的視頻。下圖顯示了生成 8 秒（64 幀）視頻的結(jié)果。

盡管如此，作者表示 Pandora 很難生成高質(zhì)量和良好可控的視頻。在論文中，作者展示了一些語義理解、運(yùn)動控制和視頻一致性方面的失敗案例。

在進(jìn)行小規(guī)模探索實驗時，作者發(fā)現(xiàn)數(shù)據(jù)質(zhì)量，即動力學(xué)描述的精度對模型性能有很大影響。在存在高質(zhì)量仿真數(shù)據(jù)的領(lǐng)域，模型很容易獲得良好的可控性。但在公共視頻數(shù)據(jù)集領(lǐng)域，GPT-4 Turbo 生成的字幕存在噪聲，導(dǎo)致模型并沒有表現(xiàn)出良好的性能。然而，當(dāng)增加訓(xùn)練計算量時，模型上就會涌現(xiàn)出跨通用領(lǐng)域的可控性。

Pandora 的探索表明通過更大規(guī)模的訓(xùn)練，構(gòu)建更強(qiáng)大的通用世界模型，這一研究方向具有巨大潛力。