語言是離散的，所以適合用自回歸模型來生成；而圖像是連續(xù)的，所以適合用擴散模型來生成。在生成模型發(fā)展早期，這種刻板印象廣泛存在于很多研究者的腦海中。

但最近，這種印象正被打破。更多的研究者開始探索在圖像生成中引入自回歸（如 GPT-4o），在語言生成中引入擴散。

香港大學和華為諾亞方舟實驗室的一項研究就是其中之一。他們剛剛發(fā)布的擴散推理模型 Dream 7B 拿下了開源擴散語言模型的新 SOTA，在各方面都大幅超越現(xiàn)有的擴散語言模型。

在通用能力、數學推理和編程任務上，這個模型展現(xiàn)出了與同等規(guī)模頂尖自回歸模型（Qwen2.5 7B、LLaMA3 8B）相媲美的卓越性能，在某些情況下甚至優(yōu)于最新的 Deepseek V3 671B（0324）。

同時，它還在規(guī)劃能力和推理靈活性方面表現(xiàn)出獨特優(yōu)勢，彰顯了擴散建模在自然語言處理領域的廣闊前景。

各語言模型在通用、數學、編程和規(guī)劃任務上的比較。

語言模型在標準評估基準上的比較。* 表示 Dream 7B、LLaDA 8B、Qwen2.5 7B 和 LLaMA3 8B 在相同協(xié)議下評估。最佳結果以粗體顯示，次佳結果帶有下劃線。 

這項工作的作者之一、香港大學助理教授孔令鵬表示，「Dream 7B 終于實現(xiàn)了我們從開始研究離散擴散模型以來一直夢想的通用語言模型能力」。

研究團隊將在幾天內發(fā)布基礎模型和指令模型的權重：

• 基礎模型：https://huggingface.co/Dream-org/Dream-v0-Base-7B
• SFT 模型：https://huggingface.co/Dream-org/Dream-v0-Instruct-7B
• 代碼庫：https://github.com/HKUNLP/Dream

他們相信，雖然自回歸模型依然是文本生成領域的主流，但擴散模型在生成文本方面有其天然的優(yōu)勢。而且隨著社區(qū)對擴散語言模型后訓練方案探索的不斷深入，這個方向還有很大的挖掘空間。

當然，在這個方向上，擴散模型究竟能走多遠，現(xiàn)在還很難判斷。但前 Stability AI 的研究總監(jiān) Tanishq Mathew Abraham 表示，「即使你不相信擴散模型是未來，我也不認為你可以完全忽略它們，它們至少可能會有一些有趣的特定應用。」

為什么用擴散模型生成文本？

目前，自回歸（AR）模型在文本生成領域占據主導地位，幾乎所有領先的 LLM（如 GPT-4、DeepSeek、Claude）都依賴于這種從左到右生成的架構。雖然這些模型表現(xiàn)出了卓越的能力，但一個基本問題浮現(xiàn)出來：什么樣的架構范式可能定義下一代 LLM？

隨著我們發(fā)現(xiàn) AR 模型在規(guī)模化應用中顯現(xiàn)出一系列局限 —— 包括復雜推理能力不足、長期規(guī)劃困難以及難以在擴展上下文中保持連貫性等挑戰(zhàn)，這個問題變得愈發(fā)重要。這些限制對新興應用領域尤為關鍵，如具身 AI、自主智能體和長期決策系統(tǒng)，這些領域的成功依賴于持續(xù)有效的推理和深度的上下文理解。 

離散擴散模型（DM）自被引入文本領域以來，作為序列生成的極具潛力的

替代方案備受矚目。與 AR 模型按順序逐個生成 token 不同，離散 DM 從完全噪聲狀態(tài)起步，同步動態(tài)優(yōu)化整個序列。這種根本性的架構差異帶來了幾項顯著優(yōu)勢： 

• 雙向上下文建模使信息能夠從兩個方向更豐富地整合，大大增強了生成文本的全局連貫性。
• 通過迭代優(yōu)化過程自然地獲得靈活的可控生成能力。
• 通過新穎的架構和訓練目標，使噪聲能夠高效直接映射到數據，從而實現(xiàn)基礎采樣加速的潛力。

近期，一系列重大突破凸顯了擴散技術在語言任務中日益增長的潛力。DiffuLLaMA 和 LLaDA 成功將擴散語言模型擴展至 7B 參數規(guī)模，而作為商業(yè)實現(xiàn)的 Mercury Coder 則在代碼生成領域展示了卓越的推理效率。這種快速進展，結合擴散語言建模固有的架構優(yōu)勢，使這些模型成為突破自回歸方法根本局限的極具前景的研究方向。

訓練過程

Dream 7B 立足于研究團隊在擴散語言模型領域的前期探索，融合了 RDM 的理論精髓與 DiffuLLaMA 的適配策略。作者采用掩碼擴散范式構建模型，其架構如下圖所示。訓練數據全面覆蓋文本、數學和代碼領域，主要來源于 Dolma v1.7、OpenCoder 和 DCLM-Baseline，并經過一系列精細的預處理和數據優(yōu)化流程。遵循精心設計的訓練方案，作者用上述混合語料對 Dream 7B 進行預訓練，累計處理 5800 億個 token。預訓練在 96 臺 NVIDIA H800 GPU 上進行，總計耗時 256 小時。整個預訓練過程進展順利，雖偶有節(jié)點異常，但未出現(xiàn)不可恢復的損失突增情況。 

自回歸建模和 Dream 擴散建模的比較。Dream 以移位方式預測所有掩碼 token，實現(xiàn)與 AR 模型的最大架構對齊和權重初始化。

在 1B 參數規(guī)模上，作者深入研究了各種設計選項，確立了多個關鍵組件，特別是來自 AR 模型（如 Qwen2.5 和 LLaMA3）的初始化權重以及上下文自適應的 token 級噪聲重排機制，這些創(chuàng)新為 Dream 7B 的高效訓練鋪平了道路。

AR 初始化

基于團隊此前在 DiffuLLaMA 上的研究成果，作者發(fā)現(xiàn)利用現(xiàn)有自回歸（AR）模型的權重為擴散語言模型提供重要初始化效果顯著。實踐證明，這種設計策略比從零開始訓練擴散語言模型更為高效，尤其在訓練初期階段，如下圖所示。

Dream 1B 模型上 200B token 的從零訓練與使用 LLaMA3.2 1B 進行 AR 初始化的損失對比。AR 初始化雖然在從因果注意力向全注意力轉變初期也會經歷損失上升，但在整個訓練周期中始終保持低于從零訓練的水平。

Dream 7B 最終選擇了 Qwen2.5 7B 的權重作為初始化基礎。在訓練過程中，作者發(fā)現(xiàn)學習率參數至關重要：設置過高會迅速沖淡初始權重中寶貴的從左到右知識，對擴散訓練幾無助益；設置過低則會束縛擴散訓練的進展。作者精心選擇了這個參數以及其他訓練參數。

借助 AR 模型中已有的從左到右知識結構，擴散模型的任意順序學習能力得到顯著增強，大幅減少了預訓練所需的 token 量和計算資源。 

上下文自適應 token 級噪聲重排

序列中每個 token 的選擇深受其上下文環(huán)境影響，然而作者觀察到現(xiàn)有擴散訓練方法未能充分把握這一核心要素。具體而言，傳統(tǒng)離散擴散訓練中，系統(tǒng)首先采樣一個時間步 t 來確定句子級噪聲水平，隨后模型執(zhí)行去噪操作。但由于實際學習最終在 token 級別進行，離散噪聲的應用導致各 token 的實際噪聲水平與 t 值并不完全對應。這一不匹配導致模型對擁有不同上下文信息豐富度的 token 學習效果參差不齊。

上下文自適應 token 級噪聲重排機制示意圖。Dream 通過精確測量上下文信息量，為每個掩碼 token 動態(tài)調整 token 級時間步 t。 

針對這一挑戰(zhàn)，作者創(chuàng)新性地提出了上下文自適應 token 級噪聲重排機制，該機制能根據噪聲注入后的受損上下文智能調整各 token 的噪聲水平。這一精細化機制為每個 token 的學習過程提供了更為精準的層次化指導。 

規(guī)劃能力

在此前的研究中，作者已證實文本擴散可以在小規(guī)模、特定任務場景下展現(xiàn)出色的規(guī)劃能力。然而，一個關鍵問題始終懸而未決：這種能力是否能擴展到通用、大規(guī)模擴散模型中？如今，憑借 Dream 7B 的問世，他們終于能夠給出更加確切的答案。 

他們選擇了《Beyond Autoregression: Discrete Diffusion for Complex Reasoning and Planning》中的 Countdown 和數獨任務作為測試平臺，這些任務允許研究者精確調控規(guī)劃難度。評估對象包括 Dream 7B、LLaDA 8B、Qwen2.5 7B 和 LLaMA3 8B，并將最新的 Deepseek V3 671B（0324）作為參考基準。所有模型均在少樣本學習環(huán)境下進行測試，且未針對這些特定任務進行過專門訓練。 

不同規(guī)劃難度下，不同模型在 Countdown 和數獨任務中的性能表現(xiàn)對比。

結果清晰顯示，Dream 在同等規(guī)模模型中表現(xiàn)卓越。特別值得一提的是，兩種擴散模型均顯著超越了同級別 AR 模型，在某些情況下甚至優(yōu)于最新的 DeepSeek V3，盡管后者擁有數量級更龐大的參數規(guī)模。這一現(xiàn)象背后的核心洞見是：擴散語言模型在處理多重約束問題或實現(xiàn)特定目標任務時更有效。

以下為 Qwen 2.5 7B 與 Dream 7B 在三個規(guī)劃任務中的表現(xiàn)示例：

Qwen2.5 7B 與 Dream 7B 的生成結果對比。 

推理靈活性 

相較于 AR 模型，擴散模型在兩個核心維度上顯著增強了推理靈活性。

任意順序生成

擴散模型徹底打破了傳統(tǒng)從左到右生成的束縛，能夠按任意順序合成輸出內容 —— 這一特性為多樣化的用戶查詢提供了可能性。

1、Completion 任務

Dream-7B-instruct 執(zhí)行補全任務的效果展示。 

2、Infilling 任務

Dream-7B-instruct 執(zhí)行指定結尾句填充任務的效果展示。

3、精細控制解碼行為

不同類型的查詢通常需要不同的響應生成順序。通過調整解碼超參數，我們可以精確控制模型的解碼行為，實現(xiàn)從類 AR 模型的嚴格從左到右生成，到完全自由的隨機順序生成的全譜系調控。

模擬 AR 模型的從左到右解碼模式。

在解碼順序中引入適度隨機性。

完全隨機化的解碼順序。

靈活的質量 - 速度權衡

在上述演示中，作者展示了每步生成單個 token 的情況。然而，每步生成的 token 數量（由擴散步驟控制）可以根據需求動態(tài)調整，從而在速度和質量之間提供可調的權衡：減少步驟可獲得更快但粗略的結果，增加步驟則以更高計算成本換取更優(yōu)質的輸出。這一機制為推理時間 scaling 開辟了全新維度，不是替代而是補充了主流大型語言模型（如 o1 和 r1）中采用的長思維鏈推理等技術。這種靈活可調的計算 - 質量平衡機制，正是擴散模型相較傳統(tǒng) AR 框架的獨特優(yōu)勢所在。

Dream 7B 與 Qwen2.5 7B 在 Countdown 任務上的質量 - 速度性能對比。通過精準調整擴散時間步參數，Dream 能夠在速度優(yōu)先與質量優(yōu)先之間實現(xiàn)靈活切換。 

有監(jiān)督微調

作為擴散語言模型后訓練階段的關鍵一步，作者實施了有監(jiān)督微調以增強 Dream 與用戶指令的對齊度。他們精心從 Tulu 3 和 SmolLM2 篩選并整合了 180 萬對高質量指令 - 響應數據，對 Dream 進行了三輪深度微調。實驗結果充分展現(xiàn)了 Dream 在性能表現(xiàn)上與頂尖自回歸模型比肩的潛力。展望未來，作者正積極探索為擴散語言模型量身定制更先進的后訓練優(yōu)化方案。

有監(jiān)督微調效果對比圖。