13.8倍吞吐提升！浙大上海AI Lab等提出視覺生成新范式，從“下一個token”到“下一個鄰域”

作者：量子位 2025-03-31 09:32:00

來自浙大、上海AI Lab等機構的研究人員提出了一種全新的視覺生成范式——鄰近自回歸建模（Neighboring Autoregressive Modeling, NAR）。

在圖像/視頻生成任務中，傳統的“下一個token預測”方法正面臨嚴重的效率瓶頸。

怎么辦？

來自浙大、上海AI Lab等機構的研究人員提出了一種全新的視覺生成范式——鄰近自回歸建模（Neighboring Autoregressive Modeling, NAR）。與傳統的“下一個token預測”不同，NAR模型采用了“下一個鄰域預測”的機制，將視覺生成過程視為一種逐步擴展的“外繪”過程。

具體來說，NAR模型從初始token開始，按照與初始token的曼哈頓距離從小到大依次生成token。這種生成順序不僅保留了視覺內容的空間和時間局部性，還允許模型在生成過程中并行預測多個相鄰的token。

為了實現這一點，研究人員引入了維度導向的解碼頭，每個頭負責在空間或時間的一個正交維度上預測下一個token。

通過這種方式，NAR模型能夠在每一步中并行生成多個token，從而大幅減少了生成所需的模型前向計算步驟。

下面具體來看。

從“下一個token”到“下一個鄰域”

在當今的AI領域，視覺生成任務（如圖像和視頻生成）正變得越來越重要。無論是生成逼真的圖像，還是創造連貫的視頻，AI模型的表現都在不斷提升。

然而，現有的視覺生成模型，尤其是基于自回歸（Autoregressive, AR）的模型，面臨著嚴重的效率瓶頸。

傳統的自回歸模型通常采用“下一個token預測”的范式，即按照光柵順序逐個生成圖像或視頻的token。這種方法雖然簡單直觀，但在生成高分辨率圖像或長視頻時，模型需要進行數千次甚至數萬次的前向計算，導致生成速度極其緩慢。

更糟糕的是，現有的加速方法往往以犧牲生成質量為代價。

例如，一些方法嘗試通過并行生成多個token來提高效率，但由于鄰近圖像token之間的強相關性以及上下文信息的缺失，這種方法容易導致生成質量下降。

因此，如何在保持高質量生成的同時，大幅提升生成效率，成為了視覺生成領域的一個關鍵挑戰。

為了解決上述問題，研究人員提出了鄰近自回歸建模（NAR）。

正如一開頭提到的，通過引入維度導向的解碼頭，使每個頭負責在空間或時間的一個正交維度上預測下一個token，最終讓NAR模型能夠在每一步中并行生成多個token，從而大幅減少了生成所需的模型前向計算步驟。

值得一提的是，維度導向的解碼頭設計非常靈活，能夠輕松擴展到更高維的視覺內容生成。

例如，在視頻生成任務中，視頻可以被視為三維數據（時間、行、列），NAR模型只需增加一個時間維度的解碼頭，即可在時間、行、列三個正交維度上并行生成token。

對于由 t×n×n 個token表示的視頻，NAR模型僅需 2n+t?2 步即可完成生成過程，遠遠少于傳統“下一個token預測”模型所需的 tn² 步。

這一顯著的效率提升使得NAR模型在處理高分辨率視頻生成任務時具有極大的優勢。

13.8倍吞吐提升

研究人員在多個視覺生成任務上對NAR模型進行了全面評估，實驗結果令人振奮：

1、類別圖像生成

在ImageNet 256×256數據集上，擁有372M參數的NAR-L取得了比擁有1.4B參數的LlamaGen-XXL更低的FID（3.06 vs. 3.09），同時將生成步數減少了87.8%并帶來了13.8倍的吞吐提升(195.4 images/s vs. 14.1 images/s)。

與VAR-d16模型相比，NAR-M取得了更低的FID的同時（3.27 vs. 3.30），能帶來92%的吞吐提升（248.5 images/s vs. 129.3 images/s）。

這說明與現有的自回歸生成方法相比，NAR模型在生成效率和質量上均取得了顯著提升。

2、類別視頻生成

在UCF-101數據集上，NAR模型相比基于“下一個詞預測”（next-token prediction）的自回歸模型在生成步驟上減少了97.3%。

相比并行解碼方法PAR，NAR在FVD更低的同時將吞吐提升了8.6倍。

這得益于NAR模型在時間維度上的并行生成能力，確保了視頻幀之間的連貫性和高質量生成。

3、文本到圖像生成

在GenEval基準測試中，NAR模型僅使用了0.4%的訓練數據（6M）便獲得了和Stable Diffusion v1.5相持平的綜合得分。

與參數量更大且擁有1.4B訓練數據的Chameleon-7B模型相比，NAR的綜合得分更高（0.43 vs. 0.39）且將吞吐率提高了166倍。