Sora 詳細(xì)的技術(shù)報(bào)告發(fā)布了，相關(guān)從業(yè)者可能都需要看看。

里面有 Open AI的訓(xùn)練思路以及 Sora 詳細(xì)的技術(shù)特性，我從里面找了一些要點(diǎn)，詳細(xì)的可以去看完整內(nèi)容。

簡(jiǎn)單來說 Sora 的訓(xùn)練量足夠大也產(chǎn)生了類似涌現(xiàn)的能力。

技術(shù)特點(diǎn)

三維空間的連貫性：Sora可以生成帶有動(dòng)態(tài)相機(jī)運(yùn)動(dòng)的視頻。隨著相機(jī)移動(dòng)和旋轉(zhuǎn)，人物和場(chǎng)景元素在三維空間中保持連貫的運(yùn)動(dòng)。

模擬數(shù)字世界：Sora還能模擬人工過程，如視頻游戲。Sora能夠同時(shí)控制Minecraft中的玩家，并高保真地渲染游戲世界及其動(dòng)態(tài)。通過提及“Minecraft”的提示，可以零樣本地激發(fā)Sora的這些能力

長(zhǎng)期連續(xù)性和物體持久性：對(duì)視頻生成系統(tǒng)來說，Sora通常能夠有效地模擬短期和長(zhǎng)期的依賴關(guān)系。同樣，它能在一個(gè)樣本中生成同一角色的多個(gè)鏡頭，確保其在整個(gè)視頻中的外觀一致。

與世界互動(dòng)：Sora有時(shí)能夠模擬對(duì)世界狀態(tài)產(chǎn)生簡(jiǎn)單影響的行為。例如，畫家可以在畫布上留下隨時(shí)間持續(xù)的新筆觸，或者一個(gè)人吃漢堡時(shí)留下咬痕。

訓(xùn)練過程

Sora 的訓(xùn)練受到了大語(yǔ)言模型（Large Language Model）的啟發(fā)。這些模型通過在互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)上進(jìn)行訓(xùn)練，從而獲得了廣泛的能力。

Sora實(shí)際上是一種擴(kuò)散型變換器模型（diffusion transformer）。

首先將視頻壓縮到一個(gè)低維潛在空間19中，然后將這種表現(xiàn)形式分解成時(shí)空區(qū)塊，從而將視頻轉(zhuǎn)換為區(qū)塊。

訓(xùn)練了一個(gè)用于降低視覺數(shù)據(jù)維度的網(wǎng)絡(luò)。這個(gè)網(wǎng)絡(luò)以原始視頻為輸入，輸出在時(shí)間和空間上都被壓縮的潛在表示。Sora在這個(gè)壓縮的潛在空間上進(jìn)行訓(xùn)練，并在此空間中生成視頻。還開發(fā)了一個(gè)對(duì)應(yīng)的解碼器模型，它能將生成的潛在表示映射回到像素空間。

對(duì)于給定的壓縮輸入視頻，提取一系列時(shí)空區(qū)塊，它們?cè)谧儞Q器模型中充當(dāng)標(biāo)記（token）。這種方案同樣適用于圖像，因?yàn)閳D像本質(zhì)上是單幀的視頻。基于區(qū)塊的表示方法使Sora能夠針對(duì)不同分辨率、持續(xù)時(shí)間和縱橫比的視頻和圖像進(jìn)行訓(xùn)練。在推理過程中，可以通過在適當(dāng)大小的網(wǎng)格中排列隨機(jī)初始化的區(qū)塊來控制生成視頻的大小。

隨著 Sora 訓(xùn)練計(jì)算量的增加，樣本質(zhì)量有了顯著提升。

Sora訓(xùn)練時(shí)沒有對(duì)素材進(jìn)行裁切，使得Sora能夠直接為不同設(shè)備以其原生縱橫比創(chuàng)造內(nèi)容。

針對(duì)視頻的原生縱橫比進(jìn)行訓(xùn)練，還可以提高構(gòu)圖和取景的質(zhì)量。

訓(xùn)練文本到視頻的生成系統(tǒng)需要大量配有相應(yīng)文本提示的視頻。應(yīng)用了在DALL·E 3中引入的重新字幕技術(shù)到視頻上。

與DALL·E 3相似，也利用了GPT技術(shù)，將用戶的簡(jiǎn)短提示轉(zhuǎn)換成更詳細(xì)的提示，然后發(fā)送給視頻模型。Video generation models as world simulators

論文關(guān)鍵點(diǎn)

OpenAI 的研究論文《Video generation models as world simulators》探討了在視頻數(shù)據(jù)上進(jìn)行大規(guī)模訓(xùn)練生成模型的方法。這項(xiàng)研究特別關(guān)注于文本條件擴(kuò)散模型，這些模型同時(shí)在視頻和圖像上進(jìn)行訓(xùn)練，處理不同時(shí)長(zhǎng)、分辨率和寬高比的數(shù)據(jù)。研究中提到的最大模型 Sora 能夠生成長(zhǎng)達(dá)一分鐘的高保真視頻。以下是論文的一些關(guān)鍵點(diǎn)：

1. 統(tǒng)一的視覺數(shù)據(jù)表示：研究者們將所有類型的視覺數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的表示，以便進(jìn)行大規(guī)模的生成模型訓(xùn)練。Sora 使用視覺補(bǔ)丁（patches）作為其表示方式，類似于大型語(yǔ)言模型（LLM）中的文本標(biāo)記。
2. 視頻壓縮網(wǎng)絡(luò)：研究者們訓(xùn)練了一個(gè)網(wǎng)絡(luò)，將原始視頻壓縮到一個(gè)低維潛在空間，并將其表示分解為時(shí)空補(bǔ)丁。Sora 在這個(gè)壓縮的潛在空間中進(jìn)行訓(xùn)練，并生成視頻。
3. 擴(kuò)散模型：Sora 是一個(gè)擴(kuò)散模型，它通過預(yù)測(cè)原始“干凈”的補(bǔ)丁來從輸入的噪聲補(bǔ)丁中生成視頻。擴(kuò)散模型在語(yǔ)言建模、計(jì)算機(jī)視覺和圖像生成等領(lǐng)域已經(jīng)顯示出了顯著的擴(kuò)展性。
4. 視頻生成的可擴(kuò)展性：Sora 能夠生成不同分辨率、時(shí)長(zhǎng)和寬高比的視頻，包括全高清視頻。這種靈活性使得 Sora 能夠直接為不同設(shè)備生成內(nèi)容，或者在生成全分辨率視頻之前快速原型化內(nèi)容。
5. 語(yǔ)言理解：為了訓(xùn)練文本到視頻生成系統(tǒng)，需要大量的視頻和相應(yīng)的文本標(biāo)題。研究者們應(yīng)用了在 DALL·E 3 中引入的重新描述技術(shù)，首先訓(xùn)練一個(gè)高度描述性的標(biāo)題生成器，然后為訓(xùn)練集中的所有視頻生成文本標(biāo)題。
6. 圖像和視頻編輯：Sora 不僅能夠基于文本提示生成視頻，還可以基于現(xiàn)有圖像或視頻進(jìn)行提示。這使得 Sora 能夠執(zhí)行廣泛的圖像和視頻編輯任務(wù)，如創(chuàng)建完美循環(huán)的視頻、動(dòng)畫靜態(tài)圖像、向前或向后擴(kuò)展視頻等。
7. 模擬能力：當(dāng)視頻模型在大規(guī)模訓(xùn)練時(shí)，它們展現(xiàn)出了一些有趣的新興能力，使得 Sora 能夠模擬物理世界中的某些方面，如動(dòng)態(tài)相機(jī)運(yùn)動(dòng)、長(zhǎng)期一致性和對(duì)象持久性等。
8. 討論：盡管 Sora 展示了作為模擬器的潛力，但它仍然存在許多局限性，例如在模擬基本物理交互（如玻璃破碎）時(shí)的準(zhǔn)確性不足。研究者們認(rèn)為，繼續(xù)擴(kuò)展視頻模型是開發(fā)物理和數(shù)字世界模擬器的有前途的道路。

這篇論文提供了對(duì) Sora 模型的深入分析，展示了其在視頻生成領(lǐng)域的潛力和挑戰(zhàn)。通過這種方式，OpenAI 正在探索如何利用 AI 來更好地理解和模擬我們周圍的世界。

論文報(bào)告：https://openai.com/research/video-generation-models-as-world-simulators。

本文轉(zhuǎn)載自探索者知白，作者：知白 ??AI??