引言：Sora——AI在視頻生成領域的新篇章

隨著AI技術的飛速發展，人工智能已在視頻生成領域翻開新的篇章。自2022年11月ChatGPT問世以來，AI技術已在我們的日常生活和工業應用中發揮著舉足輕重的作用。繼此之后，OpenAI在2024年2月推出了Sora——這款革命性的文本到視頻生成模型，能夠依據用戶提供的文本提示，生成栩栩如生、充滿想象力的視頻畫面。與以往的視頻生成模型相比，Sora的獨特之處在于它能夠生成長達一分鐘的高質量視頻，并且嚴格遵循用戶的文本指令。

相較于傳統的視頻生成模型，Sora的亮點在于其能夠創作出長達一分鐘的高品質視頻，并且嚴格遵循用戶的文本指令。不僅如此，Sora還能理解場景中各個元素之間復雜的相互作用，從而生成具有時間進程感和視覺連貫性的長視頻。這一突破性的能力，是之前只能生成短視頻片段的模型所無法比擬的。

此外，Sora對動作和互動的精細刻畫，也打破了以往模型在簡單視覺渲染方面的局限。這些顯著的進步不僅彰顯了Sora作為世界模擬器的巨大潛力，還讓我們能夠深刻洞察所描繪場景的物理特性和上下文動態。

論文標題：
Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models

論文鏈接：  
???https://arxiv.org/pdf/2402.17177.pdf??

Sora模型概述：技術背景與創新點

1. Sora的發展歷程與技術演進

在過去十年中，生成式計算機視覺（CV）模型經歷了重大發展（下圖），特別是在深度學習技術如GANs[1]和VAEs[2]的推動下。這些模型在圖像生成方面取得了顯著進步，同時多模態模型如CLIP[3]和Stable Diffusion[4]在理解和生成圖像方面展現了強大的能力。盡管視頻生成面臨挑戰，但Sora模型的出現標志著在生成長達一分鐘視頻方面取得了突破。

Sora模型與之前的視頻生成模型相比，其獨特之處在于能夠生成長達1分鐘的高質量視頻，并嚴格遵循用戶的文本指令。如下圖，OpenAI Sora模型根據提供的文本指令，分別生成三個視頻。

Sora的發展體現了AI研究長期以來的使命，即賦予AI系統理解和與運動中的物理世界互動的能力。這涉及到開發能夠不僅解釋復雜用戶指令，還能將這種理解應用于通過動態和富有上下文的模擬來解決現實世界問題的AI模型。

2. 從文本到視頻：Sora的核心技術揭秘

Sora的核心技術基于擴散變換器（diffusion transformer）[5]，這是一種預訓練的Transformer模型，已在許多自然語言任務中證明了其可擴展性和有效性。Sora采用了類似于強大的大語言模型（如GPT-4[6]）的技術，能夠解析文本并理解復雜的用戶指令。為了使視頻生成在計算上高效，Sora使用了時空潛在補丁作為其構建塊。具體來說（下圖），Sora將原始輸入視頻壓縮成潛在的時空表示，然后從壓縮視頻中提取一系列潛在的時空補丁，以封裝短時間間隔內的視覺外觀和運動動態。這些補丁類似于語言模型中的單詞標記，為Sora提供了用于構建視頻的詳細視覺短語。

數據預處理與模型訓練：Sora如何理解與處理視頻數據

1. 視頻數據的多樣性處理

Sora能夠處理、理解和生成各種原生大小的視頻和圖像（下圖）。與傳統方法不同，Sora不會調整視頻的大小、裁剪或更改寬高比，而是保留了視頻的原始尺寸。

運用原生視頻和圖像訓練能顯著提高生成視頻的構圖和框架質量（下圖）。通過保持原始寬高比，Sora實現了更自然和連貫的視覺敘事，與經過統一裁剪的方形視頻相比，Sora生成的視頻展示了更好的構圖，確保了場景中的主體完整捕捉，而不是有時因方形裁剪而導致的視圖被截斷。

2. 統一視覺表示的構建

為了有效地處理包括不同持續時間、分辨率和寬高比在內的多樣化視覺輸入，Sora采用了將所有形式的視覺數據轉換為統一表示的方法。如下圖，Sora通過首先將視頻壓縮到低維潛在空間，然后將表示分解為時空補丁來實現這一點。然而，Sora的技術報告[7]僅提供了一個高層次的想法，使得研究社區難以復制。

3. 視頻壓縮網絡的作用與挑戰

Sora的視頻壓縮網絡（或視覺編碼器）旨在減少輸入數據的維度，尤其是將原始視頻輸出為壓縮的時空潛在表示（下圖）。

根據技術報告中的引用，壓縮網絡建立在VAE或向量量化-VAE（VQ-VAE）[8]之上。但是，如果不使用調整大小和裁剪，VAE很難將任何大小的視覺數據映射到統一和固定大小的潛在空間。我們總結了兩種不同的實現方式來解決這個問題：空間補丁壓縮和時空補丁壓縮（下圖）。這兩種技術都是基于VAE或其變體，因為對補丁的操作更加靈活，更適合處理不同類型的視頻。

由于Sora旨在生成高保真視頻，因此使用了較大的補丁大小或內核大小來進行有效壓縮。在這里，我們預計使用固定大小的補丁，因為它簡單、可擴展并且訓練穩定（下圖）。但是，也可以使用不同大小的補丁來使潛在空間中的整個幀或視頻的維度保持一致。然而，這可能導致位置編碼無效，并給解碼器生成不同大小潛在補丁的視頻帶來挑戰。

模型架構與生成流程：Sora如何生成高質量視頻

1. 融合Transformer與Diffusion的模型架構

Sora采用了一種結合了Transformer和Diffusion模型的架構。這種架構首先將原始視頻壓縮成低維的時空表示，然后提取出一系列時空潛在的補?。╬atches），這些補丁類似于語言模型中的單詞token，為Sora提供了詳細的視覺短語來構建視頻。如圖，Sora的文本到視頻生成是通過一個擴散變換器模型完成的，該模型從充滿視覺噪聲的幀開始，迭代地去除噪聲并根據提供的文本提示引入特定細節。生成的視頻通過多步精煉過程逐漸顯現，每一步都使視頻更加符合期望的內容和質量。

2. 語言指令跟隨與Prompt工程的重要性

Sora能夠準確解釋和執行復雜的人類指令，這得益于其對用戶生成的文本提示的處理能力，以及對場景內元素復雜相互作用的洞察。Sora的進步體現在其能夠生成長達一分鐘的視頻序列，這些視頻不僅在視覺質量上保持高水準，而且在視覺連貫性上也非常引人注目。

Sora的成功也歸功于Prompt工程，即精心設計輸入提示以指導模型生成符合用戶意圖的輸出。這包括文本提示、圖像提示和視頻提示（依次與下面三圖的案例對應），這些提示確保了生成內容的準確性和相關性。

應用場景探討：Sora在不同行業的潛在影響

Sora等視頻擴散模型作為前沿技術，正在加速應用于多個研究領域和行業（下圖），其影響不僅限于視頻創作，還為自動內容生成和復雜決策等任務帶來變革。

1. 電影制作：簡化流程與提升創意

Sora的視頻生成能力為電影制作行業帶來了革命性的變化。它簡化了傳統的電影制作流程，降低了制作成本，并為創作者提供了一個快速將文本故事轉化為視覺內容的工具。這使得電影制作更加民主化，任何人都可以成為電影制作者，無需昂貴的設備和專業技能。

2. 教育領域：動態化學習材料的制作

在教育領域，Sora能夠將課程大綱或文本描述轉換為動態視頻內容，使得學習材料更加生動有趣。這種動態化的學習材料可以提高學生的參與度和理解力，尤其是在復雜概念的教學中。

3. 游戲開發：實時環境生成與交互體驗

Sora為游戲開發帶來了新的可能性，它可以實時生成動態的游戲環境和角色互動，提升了游戲的沉浸感和真實感。開發者可以利用Sora創造出反應玩家行為和游戲事件的有機變化的游戲世界。

4. 醫療健康：精準醫學影像分析與診斷

在醫療健康領域，Sora的視頻理解和生成能力使其在動態異常檢測、疾病早期發現和干預策略中發揮著重要作用。Sora可以幫助醫生更精確地分析醫學影像，為患者提供個性化的治療方案。

5. 機器人技術：提升感知與決策能力

Sora在機器人技術中的應用，為機器人提供了理解和解釋復雜視頻序列的能力，這增強了機器人的感知和決策能力。機器人可以利用Sora生成的視頻預測行動結果，從而更好地與環境互動并執行任務。

挑戰與機遇：Sora面臨的問題與未來發展方向

1. 物理真實性與時空復雜性的挑戰

Sora作為一種文本到視頻的生成模型，盡管在模擬物理世界方面展現出了潛力，但在處理復雜場景中的物理原則時仍存在局限性。例如，它在模擬特定的因果關系時可能會出現不一致性，如吃掉餅干的部分可能不會在視頻中留下相應的痕跡。此外，Sora在模擬運動時也可能產生違反物理規律的情況，如物體的不自然變形或對剛體結構的錯誤模擬。這些問題在模擬對象和角色之間的復雜互動時尤為突出，有時會產生偏離現實的結果。

2. 人機交互的限制與優化空間

Sora在人機交互方面也面臨著挑戰，特別是在用戶進行詳細修改或優化生成內容時，交互的連貫性和效率可能不盡如人意。用戶可能難以精確指定或調整視頻中特定元素的呈現，如動作細節和場景過渡。此外，Sora在理解復雜的語言指令或捕捉微妙的語義差異方面可能存在限制，這可能導致生成的視頻內容無法完全滿足用戶的期望或需求。

3. 使用限制與社會影響的考量

目前，Sora尚未對公眾開放使用，OpenAI采取謹慎的態度，強調在廣泛部署之前確保安全性和準備就緒。這表明Sora可能還需要在安全性、隱私保護和內容審查等方面進行進一步的改進和測試。此外，Sora目前只能生成長達一分鐘的視頻，這限制了它在需要更長內容展示的應用場景中的使用，如詳細的教學視頻或深入的故事敘述。

結論與展望：Sora技術的意義與社會價值

Sora作為OpenAI推出的文本到視頻生成模型，不僅在視頻生成領域展現出了巨大的潛力，而且在教育、游戲、醫療和機器人等多個行業中都有著廣泛的應用前景。Sora的出現預示著內容創作方式的變革，使得從簡單的文本輸入到自動生成電影內容成為可能。它為電影制作、教育內容創作、游戲開發和臨床實踐等領域提供了新的工具和方法，有望極大地提高工作效率、促進技術進步，并為社會帶來更多的創新和包容性。

盡管Sora在物理真實性、時空復雜性、人機交互和使用限制方面面臨挑戰，但它在學術界、工業界和社會上的潛在影響是巨大的。隨著技術的不斷進步和優化，Sora有望在未來成為一個強大的工具，不僅能夠提高內容創作的質量和效率，還能夠推動多個領域的創新和發展。

本文轉載自夕小瑤科技說，作者：Tscom

原文鏈接：??https://mp.weixin.qq.com/s/e7FU1t1ax6f7SiEVuRMGQg??