兩天前，圖靈獎得主 Yann LeCun 轉載了「自己登上月球去探索」的長篇漫畫，引起了網友的熱議。

其實，產出這些漫畫的研究出自南開大學、字節跳動等機構。在《StoryDiffusion：Consistent Self-Attention for long-range image and video generation》這篇論文中，該研究團隊提出了一種名為 StoryDiffusion 的新方法，用于生成一致的圖像和視頻以講述復雜故事。

• 論文地址：https://arxiv.org/pdf/2405.01434v1
• 項目主頁：https://storydiffusion.github.io/

相關項目已經在 GitHub 上獲得了 1k 的 Star 量。

GitHub 地址：https://github.com/HVision-NKU/StoryDiffusion

根據項目演示，StoryDiffusion 可以生成各種風格的漫畫，在講述連貫故事的同時，保持了角色風格和服裝的一致性。

StoryDiffusion 可以同時保持多個角色的身份，并在一系列圖像中生成一致的角色。

此外，StoryDiffusion 還能夠以生成的一致圖像或用戶輸入的圖像為條件，生成高質量的視頻。

我們知道，對于基于擴散的生成模型來說，如何在一系列生成的圖像中保持內容一致性，尤其是那些包含復雜主題和細節的圖像，是一個重大挑戰。

因此，該研究團隊提出了一種新的自注意力計算方法，稱為一致性自注意力（Consistent Self-Attention），通過在生成圖像時建立批內圖像之間的聯系，以保持人物的一致性，無需訓練即可生成主題一致的圖像。

為了將這種方法擴展到長視頻生成，該研究團隊引入了語義運動預測器 (Semantic Motion Predictor)，將圖像編碼到語義空間，預測語義空間中的運動，以生成視頻。這比僅基于潛在空間的運動預測更加穩定。

然后進行框架整合，將一致性自注意力和語義運動預測器結合，可以生成一致的視頻，講述復雜的故事。相比現有方法，StoryDiffusion 可以生成更流暢、連貫的視頻。

圖 1: 通過該團隊 StroyDiffusion 生成的圖像和視頻

方法概覽

該研究團隊的方法可以分為兩個階段，如圖 2 和圖 3 所示。

在第一階段，StoryDiffusion 使用一致性自注意力（Consistent Self-Attention）以無訓練的方式生成主題一致的圖像。這些一致的圖像可以直接用于講故事，也可以作為第二階段的輸入。在第二階段，StoryDiffusion 基于這些一致的圖像創建一致的過渡視頻。

圖 2:StoryDiffusion 生成主題一致圖像的流程概述

圖3：生成轉場視頻以獲得主題一致圖像的方法。

無訓練的一致圖像生成

研究團隊介紹了「如何以無訓練的方式生成主題一致的圖像」的方法。解決上述問題的關鍵在于如何保持一批圖像中角色的一致性。這意味著在生成過程中，他們需要建立一批圖像之間的聯系。

在重新審視了擴散模型中不同注意力機制的作用之后，他們受到啟發，探索利用自注意力來保持一批圖像內圖像的一致性，并提出了一致性自注意力（Consistent Self-Attention）。

研究團隊將一致性自注意力插入到現有圖像生成模型的 U-Net 架構中原有自注意力的位置，并重用原有的自注意力權重，以保持無需訓練和即插即用的特性。

鑒于配對 tokens，研究團隊的方法在一批圖像上執行自注意力，促進不同圖像特征之間的交互。這種類型的交互促使模型在生成過程中對角色、面部和服裝的收斂。盡管一致性自注意力方法簡單且無需訓練，但它可以有效地生成主題一致的圖像。

為了更清楚地說明，研究團隊在算法 1 中展示了偽代碼。

用于視頻生成的語義運動預測器

研究團隊提出了語義運動預測器（Semantic Motion Predictor），它將圖像編碼到圖像語義空間中以捕獲空間信息，從而實現從一個給定的起始幀和結束幀中進行更準確的運動預測。

更具體地說，在該團隊所提出的語義運動預測器中，他們首先使用一個函數 E 來建立從 RGB 圖像到圖像語義空間向量的映射，對空間信息進行編碼。

該團隊并沒有直接使用線性層作為函數 E，與之代替的是利用一個預訓練的 CLIP 圖像編碼器作為函數 E，以利用其零樣本（zero-shot）能力來提升性能。

使用函數 E，給定的起始幀 F_s 和結束幀 F_e 被壓縮成圖像語義空間向量 K_s 和 K_e。

實驗結果

在生成主題一致圖像方面，由于該團隊的方法是無需訓練且可即插即用的，所以他們在 Stable Diffusion XL 和 Stable Diffusion 1.5 兩個版本上都實現了這一方法。為了與對比模型保持一致，他們在 Stable-XL 模型上使用相同的預訓練權重進行比較。

針對生成一致性視頻，研究者基于 Stable Diffusion 1.5 特化模型實現了他們的研究方法，并整合了一個預訓練的時間模塊以支持視頻生成。所有的對比模型都采用了 7.5 classifier-free 指導得分和 50-step DDIM 采樣。

一致性圖像生成比較

該團隊通過與兩種最新的 ID 保存方法 ——IP-Adapter 和 Photo Maker—— 進行比較，評估了他們生成主題一致圖像的方法。

為了測試性能，他們使用 GPT-4 生成了二十個角色指令和一百個活動指令，以描述特定的活動。

定性結果如圖 4 所示：「StoryDiffusion 能夠生成高度一致的圖像。而其他方法，如 IP-Adapter 和 PhotoMaker，可能會產生服飾不一致或文本可控性降低的圖像?！?/span>

圖4: 與目前方法在一致性圖像生成上的對比結果圖

研究者們在表 1 中展示了定量比較的結果。該結果顯示：「該團隊的 StoryDiffusion 在兩個定量指標上都取得了最佳性能，這表明該方法在保持角色特性的同時，還能夠很好地符合提示描述，并顯示出其穩健性?！?/span>

表 1: 一致性圖像生成的定量對比結果

轉場視頻生成的對比

在轉場視頻生成方面，研究團隊與兩種最先進的方法 ——SparseCtrl 和 SEINE—— 進行了比較，以評估性能。

他們進行了轉場視頻生成的定性對比，并將結果展示在圖 5 中。結果顯示：「該團隊的 StoryDiffusion 顯著優于 SEINE 和 SparseCtrl，并且生成的轉場視頻既平滑又符合物理原理?！?/span>

圖 5: 目前使用各種最先進方法的轉場視頻生成對比

他們還將該方法與 SEINE 和 SparseCtrl 進行了比較，并使用了包括 LPIPSfirst、LPIPS-frames、CLIPSIM-first 和 CLIPSIM-frames 在內的四個定量指標，如表 2 所示。

表 2: 與目前最先進轉場視頻生成模型的定量對比

更多技術和實驗細節請參閱原論文。