大家好，我是肆〇柒。今天，我們來聊大型推理模型（LRM）領域的一項研究 ——ALPHAONE（α1）框架。當前，大型推理模型如 OpenAI 的 o1 和 DeepSeek-R1 等，已經在諸多復雜推理任務上展現出了強大的能力，但它們在推理過程中也面臨著一些挑戰，比如容易陷入過度推理或推理不足的困境。這一創新性研究由伊利諾伊大學厄巴納 - 香檳分校（University of Illinois Urbana - Champaign）和加州大學伯克利分校（UC Berkeley）的研究團隊共同完成。 他們開發出 α1 這一通用框架，目的是優化 LRM 在測試時的推理能力，使其能夠更加智能地調節推理進度，克服現有模型在推理過程中的局限性，下面一起了解一下這個框架。

推理模型的挑戰與現狀：推理過度與不足并存

大型推理模型（LRM）目前逐漸成為解決復雜推理問題的重要工具。OpenAI 的 o1 和 DeepSeek-R1 等模型通過大規模的強化學習，能夠模擬人類的系統 2 推理能力，也就是進行深度的、邏輯性強的思考，從而解決高階認知任務。然而，這些模型在實際應用中卻常常出現過度推理或推理不足的情況。過度推理會導致模型在思考過程中反復糾結，浪費大量計算資源，而推理不足則會使模型無法深入理解問題，給出的答案缺乏準確性和深度。

我們知道，人類的思考模式通常是先進行快速的直覺判斷（系統 1 思維），遇到困難時再切換到深度的邏輯推理（系統 2 思維）。但 LRM 目前難以精準地找到類似的系統 1 到系統 2 的推理轉換點，它們自動調整推理進度的可靠性也因此受到質疑。為了解決這一關鍵問題，研究團隊提出了 ALPHAONE（α1）框架。

ALPHAONE（α1）：以 α 時刻為核心的推理調節機制

核心概念：α 時刻與推理進度

ALPHAONE（α1）框架創新性地引入了 α 時刻這一關鍵概念。所謂 α 時刻，就是用一個可調節的參數 α（α ≥ 0）來表示對思考階段的擴展程度。在整個序列生成過程中，模型的思考過程會按照 α 倍進行擴展。例如，在數學推理任務中，如果 α 取值較大，模型就有更多機會對復雜公式和定理進行深入思考；在代碼生成任務中，較大的 α 值可以讓模型更細致地規劃代碼邏輯結構。α 的取值范圍依據多種因素綜合確定，包括問題的復雜程度、模型的大小以及可用的計算資源等。對于涉及多步邏輯推理的數學奧林匹克題目，可能需要較大的 α 值以確保模型能夠充分探索各種解題思路；而對于簡單的算術題，較小的 α 值就足以滿足需求。從模型規模來看，大型模型如擁有數十億參數的模型，可能需要相對較小的 α 值，因為其本身具有較強的推理能力；而小型模型則可能需要較大的 α 值來彌補推理能力的不足。計算資源也是重要考量因素之一，在資源受限的環境下，α 值可能需要適當減小以保證推理過程的可行性。這種對 α 參數的靈活調整，使得模型在推理深度、準確性和效率等方面都能得到有效的平衡和優化。

推理進度是指模型在解決問題過程中，從初始狀態到最終解決問題的整個思考過程的推進程度。它反映了模型對問題的理解、分析和解決的綜合進展情況。ALPHAONE（α1）框架通過引入 α 時刻，實現了對推理進度的通用調節。推理進度的衡量較為復雜，因為它涉及到多個方面：

• 信息收集與理解 ：模型在推理過程中需要收集和理解問題相關的各種信息，包括已知條件、問題目標等。這一階段的推理進度主要體現在模型對信息的準確提取和理解程度上。例如，在解決一個物理問題時，模型需要正確理解物理現象的描述、相關物理量的定義和單位等信息，才能為后續的推理奠定基礎。
• 問題分析與分解 ：模型會對問題進行分析和分解，將其轉化為更小的子問題或更易處理的形式。這一階段的推理進度體現在模型對問題結構的把握和分解的合理性上。例如，在解決一個復雜的工程設計問題時，模型需要將整個設計任務分解為多個模塊的設計和優化問題，這樣才能逐步推進推理過程。
• 解決方案的探索與驗證 ：模型在推理過程中會探索各種可能的解決方案，并對它們進行驗證。這一階段的推理進度主要體現在模型發現潛在解的速度、驗證解的正確性和有效性等方面。例如，在代碼生成任務中，模型需要嘗試不同的算法和代碼結構，生成代碼并驗證其是否滿足功能需求和性能要求。

推理進度的管理對于模型的高效推理至關重要。通過合理控制推理進度，可以使模型在有限的資源下更快、更準確地解決問題。

為了更直觀地理解推理調節策略，我們可以參考下圖：

概念化推理調制策略示意圖。α1采用由慢到快的推理時間表，由α控制。與單調遞增方法s1（黃色）相比，α1的擴展效率更高，并且通常優于單調遞減（紫色）的方法

整體架構：Pre-α 時刻與 Post-α 時刻協同

α1 框架主要由兩個關鍵部分組成：預 α 時刻的慢思考調度和后 α 時刻的推理終止。在預 α 時刻，通過特定的調度策略激活模型的慢思考模式，讓模型有足夠的時間對問題進行深入分析和自我反思。例如，在解決一個復雜的物理問題時，模型可以在預 α 時刻詳細梳理已知條件，嘗試從不同角度理解物理現象和相關定律。之后，在后 α 時刻，通過確定性的終止策略，將模型從慢思考狀態切換到快思考狀態，從而高效地完成問題求解并給出答案。這兩個部分協同作用，就像給模型安裝了一個智能的 “思考調節器”，可以讓模型在需要時深入思考，并且還能及時收尾，避免陷入無休止的思考循環，從而實現對推理進度的有效調節，并且在各種推理任務中展現出良好的通用性和靈活性。

ALPHAONE（α1）概述。此處 _ 代表α時刻。α1通過用戶自定義的慢速思考調度在Pre-α時刻應用密集推理調制。此外，α1通過將慢速思考過渡token“wait”替換為“”，在Post-α時刻進行調制，從而促進快速思考。具體來說，α決定了從慢速推理到快速推理的過渡發生時間。例如，將α從1.4降低到1.0會使α時刻提前，從而縮短慢速推理階段，并加快pwait的退火過程

Pre-α 時刻的慢思考調度

慢思考激活：基于結構分隔符與伯努利過程

在 Pre-α 時刻，模型通過在結構分隔符 “\n\n” 后按伯努利（pwait）過程附加 “wait” 來激活慢思考模式。具體來說，每當模型生成一個結構分隔符 “\n\n” 后，就會根據預先設定的概率 pwait 來決定是否插入 “wait” 這個詞。這里的 pwait 是受用戶指定的調度函數 S（t）控制的。例如，在代碼生成任務中，當模型生成了一段代碼框架后的結構分隔符，此時根據調度函數計算出的 pwait 值決定是否插入 “wait”，如果是，就意味著模型進入慢思考狀態，對這段代碼的功能、邏輯是否符合需求等進行深入思考。這種激活方式巧妙地利用了模型生成文本的天然結構特點，使得慢思考的觸發更加自然且具有針對性。在實際的代碼實現中，可以通過在模型的解碼循環中添加相應的判斷邏輯來實現這一過程。在每次生成一個 token 后，檢查是否為結構分隔符 “\n\n”，如果是，則根據當前的調度函數計算 pwait 值，并按照伯努利分布隨機決定是否插入 “wait” token。通過這種方式，模型能夠在適當的時機進入慢思考狀態，從而對問題進行更深入的分析和探索。

調度函數：不同策略的對比

不同的調度函數對推理性能有著顯著的影響。常見的調度函數包括恒定、線性增加、指數退火和線性退火等。以線性退火策略為例，其數學表達式可以表示為 pwait = ? (1 / Tm) * t + 1，其中 t 表示當前時間步，Tm 是 α 時刻對應的時間步。這種策略在推理初期給予較高的 pwait 值，使模型有較高概率進入慢思考狀態，隨著推理過程的推進，pwait 值逐漸降低，模型逐漸從慢思考向快思考過渡。這種模式與人類先慢后快的思考習慣相契合，在模型訓練過程中，它能夠更好地引導模型的學習過程，使模型在初期對問題進行充分的探索和思考，后期則快速收斂到合理的解決方案。

為了更直觀地理解不同調度策略的效果，我們可以參考下圖：

不同調度策略的可視化。這里_代表α時刻，而_表示思考階段的結束

在面對復雜的數學證明問題時，線性退火策略可以讓模型在推理初期對各種可能的證明思路進行嘗試和驗證，后期則專注于最有希望成功的路徑，從而提高證明的成功率和效率。相比之下，恒定策略雖然實現簡單，但由于其無法根據推理進度動態調整 pwait 值，可能導致模型在推理過程中要么一直保持較高的慢思考頻率，造成資源浪費，要么過早地切換到快思考，錯過潛在的正確解。指數退火策略則通過指數函數的形式快速降低 pwait 值，其適用場景可能更多地集中在那些需要模型在初期快速進行大量探索，后期迅速收斂的問題。每種調度函數都有其獨特的數學原理和適用場景，選擇合適的調度函數需要綜合考慮模型的特點、任務類型以及預期的推理行為等因素。

不同調度策略在（a-b）AMC23和（c-d）OlympaidBench上的消融研究

關鍵轉折：Post-α 時刻的推理終止

確定性終止：替換 token 實現快思考切換

在 α 時刻之后，α1 框架采用確定性的終止策略來結束模型的慢思考狀態。具體來說，就是將生成的慢思考轉換token “wait” 替換為 “</think>”，明確地向模型發出思考階段結束的信號，促使模型進入快思考階段并盡快輸出答案。在模型的解碼過程中，當檢測到已經達到 α 時刻（即生成的 token 數量達到 α 倍的預設思考階段 token 長度）時，觸發這一替換操作。例如，在處理一個科學問題推理任務時，模型在 α 時刻之前可能已經對問題相關的科學概念、實驗設計等進行了深入的思考，在達到 α 時刻后，替換操作生效，模型開始整合已有的思考成果，以更高效的方式完成最終的答案輸出。這一替換操作的實現涉及到對模型生成過程的實時監控和干預，需要在模型的解碼循環中精準地判斷 α 時刻的到來，并及時執行替換操作。同時，替換后會對模型的生成過程產生直接影響，使模型的生成模式從探索性的慢思考轉變為更傾向于結果輸出的快思考，從而提高推理效率。

為了更直觀地理解 α 的擴展特性，我們可以參考下圖：

α的可擴展性屬性。將α從0縮放到由最大token長度限制的最大值，并在AMC23和MATH500上繪制對應的推理Pass@1和平均思考階段token長度

協同效應：與 Pre-α 時刻的配合

確定性終止策略與 Pre-α 時刻的慢思考調度相結合，能夠有效克服 LRM 的慢思考慣性。慢思考慣性是指模型在慢思考過程中，由于對問題的過度聚焦和對已生成思路的路徑依賴，難以自行切換到快思考狀態的現象。這種慣性主要產生于以下幾個方面：

• 過度聚焦 ：在慢思考階段，模型會集中大量資源對問題的某個方面或某個潛在解進行深入分析。例如，在解決一個復雜的數學優化問題時，模型可能會過度聚焦于某個局部最優解的探索，試圖通過各種變形和驗證來確認其正確性，而忽略了其他可能的解空間。這種過度聚焦使得模型在思考過程中形成了一種 “思維定式”，難以將注意力轉移到其他潛在的解上。
• 路徑依賴 ：模型在慢思考過程中生成的中間結果和思考路徑會對后續的思考產生影響。如果模型在初期選擇了一個特定的思考方向，并在這個方向上投入了大量資源，那么它會傾向于繼續沿著這個方向思考，而不是嘗試新的方向。例如，在代碼生成任務中，模型可能在慢思考階段選擇了一種特定的算法實現方式，并圍繞這個算法進行了一系列的邏輯推導和優化嘗試。此時，模型會對這個算法路徑產生依賴，即使存在更優的算法，也可能因為切換思考方向需要重新投入資源而放棄探索。

慢思考慣性對推理過程的影響主要體現在以下幾個方面：

• 資源浪費 ：模型在慢思考慣性的影響下，會持續投入資源對已有的思路進行深入探索，導致思考過程冗長，資源消耗過大。例如，在處理一個復雜的邏輯推理問題時，模型可能會反復驗證某個假設的合理性，而忽略了其他可能的假設，從而浪費了大量的計算資源。
• 錯過正確解 ：由于模型難以擺脫已有的思考路徑，可能會錯過正確的解題方向。例如，在數學證明任務中，模型可能陷入對某個錯誤假設的證明嘗試中，而無法切換到正確的證明路徑上，最終導致推理失敗。

在 Pre-α 時刻，模型通過充分的慢思考對問題進行了深入的分析和探索，積累了大量的中間思考成果。此時，如果任由模型繼續慢思考，可能會導致上述慢思考慣性問題。而 Post-α 時刻的確定性終止策略就像一個及時的 “剎車” 機制，在適當的時候強制模型停止慢思考，充分利用 Pre-α 時刻積累的成果，快速進入快思考階段，將思考成果轉化為最終的答案。例如，在代碼調試任務中，Pre-α 時刻的慢思考可以幫助模型發現代碼中的潛在錯誤和邏輯漏洞，而在 Post-α 時刻，模型在終止慢思考后，能夠迅速地根據已有的分析結果對代碼進行修正和優化，輸出正確的代碼。這種協同作用使得模型在不同的推理任務中都能達到更高的效率和準確性，無論是在處理復雜的數學證明、代碼調試還是科學實驗設計等場景中，都能充分發揮其優勢，確保模型在深入思考的基礎上，高效地完成任務。

ALPHAONE（α1）的優勢與性能表現

超越傳統：對比平行擴展與序列擴展方法

與平行擴展和序列擴展等現有測試時推理擴展方法相比，α1 框架展現出了顯著的優勢。平行擴展方法通常通過多次采樣并選擇最佳答案來提升推理性能，但在處理需要深度推理的問題時，可能會出現資源浪費的情況，因為每次采樣都需要獨立運行模型，且不同采樣結果之間可能存在較大的不一致性，導致模型難以有效整合信息。而序列擴展方法雖然試圖通過調整推理過程來優化性能，但在長序列推理中容易面臨誤差累積和過擬合的風險，尤其是在模型參數較多、推理路徑較為復雜的情況下，模型可能會過于依賴之前生成的序列，從而偏離正確的推理方向。相比之下，α1 框架通過引入 α 時刻，實現了對推理過程的精細控制，在數學推理任務中，能夠更有效地引導模型對公式、定理等進行深入思考，避免因過度采樣或序列誤差累積帶來的問題；在代碼生成任務中，可以更好地平衡代碼的邏輯結構探索和代碼輸出效率，從而在多個推理基準測試中超越了現有的平行擴展和序列擴展方法，為 LRM 的推理能力優化提供了全新的解決方案。

為了更直觀地理解擴展效率的分析，我們可以參考下圖：

使用Deepseek-R1-distill-Qwen-1.5B進行基于REP的擴展效率分析

實驗成果：六大基準測試的顯著提升

在實驗部分，研究人員在數學推理、代碼生成和科學問題推理等六大基準測試上對 α1 框架進行了全面評估。實驗使用的基準包括 AIME2024、AMC23、Minerva-Math、MATH500、LiveCodeBench 和 OlympiadBench，涵蓋了從數學競賽題目到代碼生成功能測試以及科學推理問題等多種類型的推理任務。基礎模型則選取了三個 o1 風格的開源 LRM，分別是 DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B 和 Qwen QwQ-32B，這些模型在參數規模和性能表現上各有特點，能夠很好地反映 α1 框架在不同模型基礎下的適用性和效果。

為了更直觀地理解不同調度策略在 AIME24 上的消融研究結果，我們可以參考下圖：

不同調度策略對AIME24的消融研究

評估指標主要采用平均 Pass@1（%）和生成的 token 數，其中 Pass@1 表示模型在第一次嘗試中正確解決問題的比率，能夠直接反映模型的推理準確性；生成的 token 數則用于衡量模型推理過程中的效率和資源消耗情況。以 AIME24 為例，實驗結果顯示，α1 使 DeepSeek-R1-Distill-Qwen-1.5B 的 Pass@1 提高了 6.7%，而生成的 token 數減少了近 14%。這一結果表明，α1 框架在提升模型推理準確性方面取得了顯著成效，同時通過更高效的推理過程減少了 token 的生成數量，優化了資源利用率。這背后反映出 α1 框架在引導模型進行更有效的思考方面發揮了重要作用，使得模型能夠用更少的 “思考步驟”（即 token）達到更高的正確率。模型在 α1 框架的調控下，能夠更精準地聚焦于問題的關鍵點，避免了不必要的思考和重復勞動，從而實現了效率與準確性的雙重提升。

系統比較了 DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B 和 Qwen QwQ 32B 在數學、編程和科學推理基準測試中的推理結果。P@1：Pass@1（%）；#Tk：生成的token數量；?P@1（%）：與基礎模型相比平均 Pass@1 結果的提升。*為了公平比較，S1 在測試時直接應用預算強制，而沒有進行監督微調，這與 CoD 和 α1 相同，它們都是無需訓練的

關鍵發現與洞察

慢思考優先：LRM 的獨特優勢策略

對于 LRM 來說，先慢思考后快思考的策略之所以更優，背后有著深刻的模型架構和任務特性原因。與人類的思考模式不同，LRM 在預訓練過程中已經大量接觸和學習了各種深層語義知識和邏輯推理模式。慢思考階段相當于為模型提供了一個 “深度激活” 這些預訓練知識的機會，讓模型有足夠的時間對問題進行多角度的分析、聯想和自我反思。例如，在解決一個復雜的數學物理問題時，模型可以在慢思考階段調用預訓練中學習到的物理定律、數學公式以及各種解題技巧，并嘗試將它們與當前問題的條件進行匹配和融合。而在快思考階段，模型則利用慢思考階段積累的成果，進行高效的整合和輸出。這種策略的優勢在于，它充分利用了 LRM 的預訓練優勢，使得模型在面對復雜問題時能夠更充分地挖掘和利用自身的知識儲備，從而提高推理的準確性和深度。此外，從模型訓練機制來看，強化學習等訓練方式也使得模型在慢思考過程中更容易受到獎勵信號的引導，不斷優化其思考路徑和方式，進一步增強了慢思考階段的有效性。

效率提升：慢思考的深度價值

慢思考雖然會減緩推理速度，但它通過減少生成的 token 數量，使推理過程更加高效，并帶來更豐富的推理信息。在慢思考過程中，模型會進行大量的自我反思和修正。例如，在生成一段推理文本時，模型可能會反復思考某個結論是否合理、某個假設是否成立，并對不合理的部分進行修正。這種自我反思的過程使得模型生成的每個 token 都更具信息量和邏輯性，避免了因草率思考而產生的冗余和錯誤信息。同時，在慢思考階段，模型還會探索不同的推理路徑，對各種可能的解決方案進行評估和篩選，最終保留最具潛力的路徑。這些經過精心篩選和優化的推理路徑在后續的快思考階段能夠被快速地整合和輸出，大大提高了推理的效率。例如，在代碼生成任務中，慢思考階段的模型可能會嘗試多種算法實現方式，對每種方式的優缺點進行分析，并選擇最適合當前問題需求的算法，這樣在快思考階段就能直接輸出高質量的代碼，而不需要再進行反復的調整和修改，從而實現了整體推理效率和準確性的提升。

轉換頻率：影響推理性能的關鍵因素

較高的慢思考轉換頻率有助于模型更充分地挖掘問題的深層邏輯和關鍵信息。從模型的注意力機制角度來看，頻繁的慢思考轉換可以促使模型不斷地重新分配注意力資源，對問題的不同方面進行細致的審視。例如，在處理一個復雜的文本推理任務時，模型通過多次插入 “wait” 進入慢思考狀態，能夠將注意力從文本的表面意思轉移到深層語義和邏輯關系上，從而更好地理解文本的真正含義。

為了更直觀地理解 “wait” 頻率的擴展特性，我們可以參考下圖：

在AMC23和OlympiadBench上，基于恒定調度時“等待”頻率的縮放特性。增加pconstant會導致在伯努利過程Bernoulli（pwait）中產生“等待”的頻率更高

從記憶更新的角度來說，每次慢思考轉換都為模型提供了一個更新和強化記憶的機會，使得模型能夠將新思考到的內容及時整合到已有的記憶中，構建更全面和準確的知識表示。在推理路徑探索方面，較高的轉換頻率意味著模型有更多機會嘗試不同的思考方向，避免因過早收斂到某個錯誤或次優路徑而錯過正確的解。實驗數據顯示，當慢思考轉換頻率增加時，模型在推理準確性方面的表現呈現出先上升后趨于平穩的趨勢，這表明存在一個最優的轉換頻率范圍，能夠使模型在充分探索和高效推理之間達到最佳平衡。因此，在實際應用中，根據具體任務和模型的特點合理設置慢思考轉換頻率，對于提升模型的推理性能至關重要。

不同慢思維轉換token對AIME24的消融研究

總結

ALPHAONE（α1）框架通過引入 α 時刻，實現了對 LRM 測試時推理進度的通用調節，驗證了先慢思考后快思考策略的優越性。它在多個推理基準測試中展現了卓越的性能和效率提升，為 LRM 的推理能力優化提供了新的思路和方法。我們探討了 α 參數的取值依據、框架的整體架構以及 Pre-α 時刻和 Post-α 時刻的具體機制，同時通過實驗驗證和關鍵發現分析，全面了解了 α1 框架的優勢和工作原理。α1 框架的核心創新在于對推理過程的精細控制和調節，使其能夠充分發揮 LRM 的潛力，在保證推理深度和準確性的同時，提高推理效率，避免過度推理和推理不足的問題。

ALPHAONE（α1）框架還有許多值得深入研究和拓展的方向。一方面，開發更復雜的慢思考調度策略是一個重要的研究方向。例如，可以探索基于深度強化學習的調度算法，通過讓模型在大量的推理實踐中不斷學習和優化調度策略，使其能夠根據不同的推理任務動態調整 α 時刻和調度函數。同時，也可以嘗試模仿人類專家的推理過程，構建一個基于人類推理示范的調度模型，使 LRM 的推理調度更加貼近人類的思考習慣。另一方面，還可以擺脫對特定轉換 token 的依賴。說不定可以改進模型的內部機制，比如引入自我監督的推理轉換判斷模塊，讓模型能夠自主地根據推理內容和狀態判斷是否需要進行思考轉換，而無需依賴預設的token。或者，利用模型的隱含語義表示，通過分析模型生成的文本的語義特征來自然地實現推理轉換，使模型的推理過程更加流暢和自然。

我在閱讀關于 ALPHAONE（α1）框架的這篇論文的過程中，我收獲頗豐。這一框架解決了 LRM 在推理過程中長期存在的過度推理和推理不足的問題，還通過巧妙的 α 時刻設計，實現了對推理進度的精細調控。從伊利諾伊大學厄巴納 - 香檳分校和加州大學伯克利分校的研究團隊所公布的實驗結果來看，α1 框架在多個基準測試中的表現令人振奮，它顯著提升了模型的推理準確性和效率，為 LRM 的效率優化提出了新的思路。更加令人興奮的是，他們提供了開源倉庫（見文末參考），雖然還未上傳代碼，但可以持續關注項目的進展。