視頻擴散模型新綜述來了，覆蓋300+文獻的那種。

最近，復旦大學、上海市智能視覺計算協同創新中心聯合微軟等學術機構，在國際頂級期刊《ACM Computing Surveys》（CSUR）上發表了題為《A Survey on Video Diffusion Models》的綜述論文。

不僅系統地梳理了擴散模型在視頻生成、編輯及理解等前沿領域的進展，還深入探討了近期的研究趨勢與突破，涵蓋了該領域近年來的重要成果。

該研究目前已在Github攬獲2k+ Star。

本篇綜述論文的第一作者為復旦大學博士生邢楨，通訊作者為復旦大學吳祖煊副教授和姜育剛教授。

基于擴散模型的視頻生成

本文將目前基于擴散模型的主流視頻生成模型分為三大類：基于文本的視頻生成，基于其他條件的視頻生成，以及無條件的視頻生成。

（1）基于文本的視頻生成：

以自然語言為輸入的視頻生成是當前視頻生成領域最重要的任務之一。

本文首先回顧了該領域在擴散模型提出之前的研究成果，隨后分別介紹了基于訓練和無需訓練的兩種擴散模型方法。

其中基于訓練的方法通常依靠大規模數據集，通過優化模型性能實現高質量視頻生成；而無訓練的方法則主要借助文生圖模型（T2I）和大語言模型（LLM）等技術實現視頻生成。

（2）基于其他條件的視頻生成：

該任務專注于細分領域的視頻生成工作。本文將這些條件歸類為以下幾種：姿勢引導（pose-guided）、動作引導（motion-guided）、聲音引導（sound-guided）、圖像引導（image-guided）、深度圖引導（depth-guided）等。

這些工作不僅提供了比純文本更為精準的控制條件，還將不同模態的信息融合到視頻生成的過程中，極大地豐富了視頻生成的技術手段和應用場景。

（3）無條件的視頻生成：

該方向的研究主要圍繞視頻表征方式的設計與擴散模型網絡架構設計展開，可以細分為基于U-Net的生成、基于Transformer的生成以及基于Mamba的生成。

基于擴散模型的視頻編輯

對于基于擴散模型的視頻編輯方法，本文同樣將目前主流的模型分成了三大類：基于文本的視頻編輯，基于其他條件的視頻編輯，以及特定細分領域的視頻編輯。

（1）基于文本的視頻編輯：

由于目前文本-視頻數據規模有限，大多數基于文本的視頻編輯任務都傾向于利用預訓練的T2I模型來解決視頻幀之間的連貫性和語義不一致性等問題。

本文中，作者進一步將此類任務細分為基于訓練的（training-based）、無需訓練的（training-free）和一次性調優的（one-shot tuned）方法，并分別加以總結。

（2）基于其他條件的視頻編輯：

隨著大模型時代的到來，除了最為直接的自然語言信息作為條件的視頻編輯，由指令、聲音、動作、多模態等作為條件的視頻編輯正受到越來越多的關注，作者也對相應的工作進行了分類梳理。

（3）特定細分領域的視頻編輯：

在一些特定領域中，視頻編輯任務往往具有獨特的定制化需求。例如，視頻著色和人像視頻編輯等，這些任務針對特定場景提出了更加專門化的解決方案。

作者對相關研究成果進行了系統梳理，總結了這些領域的主要方法和實踐經驗。

基于擴散模型的視頻理解

擴散模型不僅在傳統的視頻生成和編輯任務中取得了廣泛的應用，它在視頻理解任務上也展現了出巨大的潛能。

通過對前沿論文的追蹤，作者歸納了視頻時序分割、視頻異常檢測、視頻物體分割、文本視頻檢索、動作識別等多個現有的應用場景。

總結與展望

該綜述全面細致地總結了AIGC時代下擴散模型在視頻任務上的最新研究。

根據研究對象和技術特點，本文作者將百余份前沿工作進行了分類和概述，并在一些經典的基準（benchmark）上對這些模型進行比較。

然而，擴散模型在視頻任務領域仍面臨一些新的研究方向和挑戰，具體包括：

（1）大規模文本-視頻數據集的缺乏：

T2I模型的成功很大程度上得益于數以億計的高質量文本-圖像數據集，例如LAION-5B；該數據集包含了數十億個圖像-文本對，極大提升了模型的泛化能力。

相比之下，在T2V任務中，當前的數據集無論從規模上還是質量上都顯得遠遠不足。例如常用的WebVid數據集，該數據集的視頻不僅分辨率低（僅有360P），還常帶有水印。

因此，未來的研究重點應該放在構建大規模、無水印、高分辨率的公開數據集上，同時提升數據集的標注質量和多樣性，以更好地支持視頻生成模型的訓練。

（2）物理世界的真實性：

盡管現有的視頻生成模型在許多場景中取得了令人矚目的成果，但在復雜場景的物理世界描述上仍存在較大的局限性。

例如，Sora模型在生成涉及物理交互的視頻時，仍不能很好地生成完全符合物理規律的視頻。

作者指出，這些問題的根源在于當前模型對物理場景的理解仍較為淺顯，缺乏對物體剛性、重力、摩擦力等物理屬性的精確建模。

因此，未來的研究可以探索如何將物理學的規律嵌入到生成模型中，提升生成視頻中的物理屬性的合理性，從而使生成的視頻更真實。

（3）長視頻生成：

當前視頻生成模型面臨的一個顯著挑戰是視頻長度的限制。大多數模型只能生成時長不超過10秒的視頻內容。

這主要是因為長視頻生成不僅對計算資源提出了更高要求，還要求模型能夠有效建模時空連貫性。而現有的自回歸模型中，時序誤差累積問題尤為突出。

此外，盡管現有的分階段生成方法（如粗到細的多階段生成）能夠在一定程度上改善生成效果，但卻往往帶來更復雜的訓練和推理過程，導致生成速度變慢。

因此，未來的研究方向應致力于開發更高效、更穩定的長視頻生成方法，確保視頻在較長時間段內既保持物理合理性又不失質量穩定性。

（4）高效的訓練和推理：

T2V模型的訓練和推理過程涉及到海量的視頻數據，在訓練和推理階段所需要的算力也呈幾何倍數增加，成本極高。

因此，未來的研究應當致力于通過改進模型架構，例如采用更高效的時空建模方法，或通過知識蒸餾等技術來壓縮模型的大小，減少訓練和推理過程中的計算復雜度，從而降低視頻生成的總體成本。

（5）可靠的基準和評價指標：

現有視頻領域的評價指標主要集中在衡量生成視頻與原視頻之間的分布差異，但未能全面評估生成視頻的整體質量。

同時，用戶測試作為重要的評估方式之一，既耗時費力又具有較強的主觀性。

因此，未來的研究需要致力于研發更加客觀、全面的自動化評價指標，既能衡量生成視頻的視覺質量，也能捕捉到其物理真實性和時空一致性。

（6）高可控性的視頻編輯：

目前大多數的視頻生成模型主要依賴文本描述來進行視頻編輯。然而，文本描述往往較為抽象，難以提供精確的控制。

例如，在涉及生成特定物體的移動軌跡、控制多個物體之間的交互等動態編輯任務時，現有方法仍然存在較大的局限性。

此外，對于復雜場景中的多物體編輯，生成模型也難以保持多個物體的時空一致性。

因此，未來的研究方向應當著力于提高視頻編輯的可控性，例如通過結合視頻分割、目標檢測等技術，使得模型能夠在視頻的局部區域中執行更加精細的編輯操作，并提升在多物體場景下的動態編輯能力，從而實現更為靈活和精確的生成與編輯。

論文鏈接：https://arxiv.org/abs/2310.10647
論文主頁：https://github.com/ChenHsing/Awesome-Video-Diffusion-Models