無(wú)需額外模型訓(xùn)練、即插即用，全新的視頻生成增強(qiáng)算法——Enhance-A-Video來(lái)了！

和最近人氣超高的混元視頻生成模型（HunyuanVideo）對(duì)比來(lái)看，加入Enhance-A-Video的版本在生成畫(huà)面中表現(xiàn)出了更加豐富的細(xì)節(jié)和更高的語(yǔ)義契合度，生成內(nèi)容和用戶輸入的文本提示更匹配：

研究團(tuán)隊(duì)成員來(lái)自新加坡國(guó)立大學(xué)、上海AI實(shí)驗(yàn)室和德克薩斯大學(xué)奧斯汀分校。

簡(jiǎn)單來(lái)說(shuō)，新算法通過(guò)調(diào)整時(shí)間注意力層輸出的一個(gè)關(guān)鍵參數(shù)，能夠在幾乎不增加推理負(fù)擔(dān)的情況下，大幅提升生成視頻的細(xì)節(jié)表現(xiàn)和時(shí)序連貫性。

Enhance-A-Video還兼容多種主流視頻生成模型，無(wú)需修改基礎(chǔ)架構(gòu)即可直接應(yīng)用。

比如CogVideoX-2B + Enhance-A-Video：

還有OpenSora-V1.2 + Enhance-A-Video：

實(shí)驗(yàn)結(jié)果顯示，Enhance-A-Video在提升視頻質(zhì)量方面表現(xiàn)卓越，尤其是在對(duì)比度、清晰度以及細(xì)節(jié)真實(shí)性上有顯著改進(jìn)。

新算法一經(jīng)發(fā)布，其強(qiáng)大的泛化能力也是迅速得到了社區(qū)的認(rèn)可。

很多網(wǎng)友已將該算法集成到多個(gè)主流推理框架中，包括ComfyUI-Hunyuan和ComfyUI-LTX。

對(duì)比一下網(wǎng)友Kijai發(fā)布的原始混元模型和增強(qiáng)后的效果，可以看到模型生成畫(huà)面更加自然，動(dòng)態(tài)表現(xiàn)也更加流暢：

圖片

Comfy-UI測(cè)試結(jié)果，左邊為原始視頻，右邊為增強(qiáng)視頻

LTX-Video的研究人員Nir Zabari還成功將它應(yīng)用到了LTXV模型中，顯著提升了生成視頻在動(dòng)作一致性和細(xì)節(jié)呈現(xiàn)方面的表現(xiàn)。

這一成果表明，Enhance-A-Video不僅適用于特定模型，還能廣泛適配于不同的視頻生成框架。

研究背景：提升視頻生成質(zhì)量需求強(qiáng)烈

近年來(lái)，以Diffusion Transformer（DiT）為代表的視頻生成技術(shù)[1]迅猛發(fā)展，能夠根據(jù)文本描述生成多樣化的視頻內(nèi)容。

然而，現(xiàn)有方法仍面臨以下挑戰(zhàn)：

• 時(shí)序不連貫：幀與幀之間缺乏一致性；
• 細(xì)節(jié)模糊：畫(huà)面紋理缺乏清晰度；
• 畫(huà)面抖動(dòng)：動(dòng)態(tài)效果不夠穩(wěn)定。

這些問(wèn)題顯著影響了生成視頻的實(shí)用性和觀看體驗(yàn)，如何提升 AI 生成視頻的質(zhì)量成為當(dāng)前研究的關(guān)鍵問(wèn)題之一。

為了解決上述問(wèn)題，Enhance-A-Video應(yīng)運(yùn)而生。其核心原理是通過(guò)一個(gè)增強(qiáng)系數(shù)，優(yōu)化時(shí)間注意力的分布，從而實(shí)現(xiàn)以下優(yōu)勢(shì)：

• 高效增強(qiáng)：快速提升視頻質(zhì)量；
• 無(wú)需訓(xùn)練：可直接應(yīng)用于現(xiàn)有生成模型；
• 即插即用：靈活適配多種場(chǎng)景和需求。

設(shè)計(jì)動(dòng)機(jī)：時(shí)間注意力的優(yōu)化潛力

時(shí)間注意力（Temporal Attention）在DiT模型中負(fù)責(zé)信息的幀間傳遞，對(duì)生成視頻的連貫性和細(xì)節(jié)保留至關(guān)重要。

通過(guò)對(duì)不同DiT層的時(shí)間注意力分布進(jìn)行可視化分析，研究人員發(fā)現(xiàn)：

在部分DiT層中，時(shí)間注意力的分布存在顯著差異：跨幀注意力（非對(duì)角線部分）的強(qiáng)度明顯低于單幀自注意力（對(duì)角線部分）。

這一現(xiàn)象可能導(dǎo)致幀間信息傳遞不足，進(jìn)而影響視頻的一致性和細(xì)節(jié)表現(xiàn)。

基于這一觀察，作者提出了一個(gè)關(guān)鍵假設(shè)：能否通過(guò)利用時(shí)間注意力來(lái)提高視頻質(zhì)量？

不同DiT層的時(shí)間注意力分布圖

這一假設(shè)的靈感來(lái)源于大語(yǔ)言模型（LLM）中的溫度系數(shù)（τ）調(diào)節(jié)機(jī)制。

在文本生成中，通過(guò)調(diào)整Softmax的溫度參數(shù)可以平衡一致性與多樣性[2]：

• 增大τ，生成結(jié)果更加多樣化。
• 減小τ，生成結(jié)果更連貫一致。

類似地，在視頻生成中，時(shí)間注意力的溫度系數(shù)可以直接影響幀間相關(guān)性強(qiáng)度，為Enhance-A-Video的設(shè)計(jì)提供了理論基礎(chǔ)。

方法概述：無(wú)需訓(xùn)練的動(dòng)態(tài)增強(qiáng)方案

基于上述觀察與思考，作者首次發(fā)現(xiàn)時(shí)間注意力的溫度系數(shù)決定了不同幀之間的相關(guān)性強(qiáng)度，相關(guān)性強(qiáng)度越高意味著每一幀生成時(shí)，在時(shí)間上下文維度所考慮的范圍越廣。

由此想法出發(fā)，作者提出了一種調(diào)整時(shí)間注意力層輸出，無(wú)需訓(xùn)練的視頻增強(qiáng)方法，該方法可以直接應(yīng)用于現(xiàn)有的AI視頻生成模型。

Enhance-A-Video框架圖

Enhance-A-Video的核心設(shè)計(jì)是通過(guò)動(dòng)態(tài)調(diào)節(jié)時(shí)間注意力層的輸出，實(shí)現(xiàn)對(duì)幀間一致性和細(xì)節(jié)表現(xiàn)的優(yōu)化。

具體方法分為以下幾步：

1.并行增強(qiáng)模塊

在時(shí)間注意力層的基礎(chǔ)上增加一個(gè)并行分支，計(jì)算時(shí)間注意力分布圖。

輸入時(shí)間注意力層的隱藏狀態(tài)也被傳入增強(qiáng)模塊。

2.計(jì)算跨幀強(qiáng)度（CFI）

從時(shí)間注意力分布圖中提取非對(duì)角線元素的平均值，作為跨幀強(qiáng)度（Cross-Frame Intensity, CFI）。

3.動(dòng)態(tài)增強(qiáng)控制

引入增強(qiáng)溫度參數(shù)（Enhance Temperature），將其與CFI的乘積作為增強(qiáng)模塊的輸出系數(shù)。

利用該系數(shù)動(dòng)態(tài)調(diào)整時(shí)間注意力層輸出的特征增強(qiáng)強(qiáng)度。

通過(guò)這一策略，Enhance-A-Video 能夠高效地提升視頻的幀間一致性和細(xì)節(jié)表現(xiàn)，而無(wú)需對(duì)原始模型進(jìn)行重新訓(xùn)練。

為AI視頻生成技術(shù)提供新思考

這項(xiàng)研究提出了首個(gè)無(wú)需訓(xùn)練、即插即用的AI生成視頻質(zhì)量增強(qiáng)方法——Enhance-A-Video，針對(duì)當(dāng)前生成視頻質(zhì)量的關(guān)鍵問(wèn)題，圍繞時(shí)間注意力機(jī)制展開(kāi)創(chuàng)新設(shè)計(jì)，主要貢獻(xiàn)如下：

• 創(chuàng)新性方法：通過(guò)在時(shí)間注意力層計(jì)算交叉幀強(qiáng)度，引入增強(qiáng)溫度參數(shù)，提升幀間一致性與細(xì)節(jié)表現(xiàn)力。
• 高效性與通用性：無(wú)需訓(xùn)練，直接適配主流視頻生成模型。
• 顯著性能提升：在HunyuanVideo等模型上解決了細(xì)節(jié)缺失和時(shí)序不一致等問(wèn)題。

未來(lái)他們還會(huì)在此基礎(chǔ)上進(jìn)一步開(kāi)展工作，包括：

• 自適應(yīng)增強(qiáng)：研究自動(dòng)調(diào)節(jié)增強(qiáng)溫度參數(shù)機(jī)制，優(yōu)化一致性與多樣性平衡。
• 擴(kuò)展適用性：優(yōu)化方法設(shè)計(jì)以適配大規(guī)模模型和多模態(tài)場(chǎng)景。
• 質(zhì)量評(píng)價(jià)：構(gòu)建更完善的視頻生成質(zhì)量評(píng)價(jià)體系。

作者表示，期待本研究為AI視頻生成技術(shù)的實(shí)際應(yīng)用與質(zhì)量提升提供新的思路和支持！

開(kāi)源代碼鏈接：https://github.com/NUS-HPC-AI-Lab/Enhance-A-Video相關(guān)博客鏈接：https://oahzxl.github.io/Enhance_A_Video/

參考文獻(xiàn)：

[1]Brooks, Tim, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang and Aditya Ramesh. “Video generation models as world simulators.“ OpenAI Research (2024).

[2]Renze, Matthew and Erhan Guven. “The Effect of Sampling Temperature on Problem Solving in Large Language Models.” ArXiv abs/2402.05201 (2024).