在人工智能快速發展的今天，大型語言模型(LLM)已經在多個領域展現出驚人的能力。然而，當面對需要深度思考和復雜推理的任務時，傳統LLM往往表現出明顯的局限性。這種局限性促使研究者們轉向探索一種新型的模型范式——基于"慢思維"的推理LLM。這些模型受到諾貝爾經濟學獎得主丹尼爾·卡尼曼在《思考，快與慢》中提出的人類雙重思維系統理論啟發，旨在模擬人類的深度、有意識的推理過程。

本文將深入探討這一新興領域的發展歷程、關鍵技術以及未來挑戰，基于對超過100項相關研究的綜合分析，為讀者呈現一幅慢思維推理LLM的全景圖。

從"系統1"到"系統2"：人類認知的啟示

卡尼曼的理論將人類思維分為兩種模式："系統1"代表快速、自動、直覺性的思考，而"系統2"則是慢速、有意識、需要努力的推理過程。傳統LLM主要模擬"系統1"思維，擅長快速模式識別和直覺性判斷，但在需要深度分析和多步驟推理的復雜任務中表現不佳。

慢思維推理LLM正是試圖彌補這一差距，通過引入類似人類"系統2"的深度思考機制，使AI能夠處理更為復雜的推理任務。這種轉變不僅是技術上的進步，更是對AI認知能力本質的重新思考。

慢思維推理LLM的發展歷程

近年來，以OpenAI的o1為代表的一系列模型標志著慢思維推理LLM的崛起。這些模型共享幾個核心設計原則：

1. 強化學習(RL)優化：通過RL技術優化模型在復雜推理任務中的表現，常見的實現包括過程獎勵模型(PRM)和結果獎勵模型(ORM)。
2. 長鏈思考(Long CoT)范式：允許模型進行多階段推理，驗證部分解決方案，并通過自我驗證或引導搜索等技術優化輸出。
3. 搜索機制：利用波束搜索、蒙特卡洛樹搜索(MCTS)或檢索增強生成等機制探索和驗證候選推理路徑。
4. 多階段訓練流程：結合監督微調(SFT)和強化學習驅動的策略進行迭代優化。

推理LLM的時間線

這些模型在數學推理、競爭性編程、多語言任務、多模態推理等領域展現出令人印象深刻的能力，標志著AI推理能力的重大突破。

慢思維推理LLM的關鍵技術

慢思維理論基礎

慢思維的理論基礎源于卡尼曼的系統1和系統2思維模型。系統1代表快速、自動的思考，而系統2則是慢速、有意識的推理。慢思維，即系統2，涉及需要有意識注意力、邏輯分析和心理努力的過程。

在AI領域中，研究者們探索了將這兩種思維模式整合到LLM中的方法。例如，Booch等人提出了框架，使AI系統能夠在快速、基于模式的響應和慢速、方法性評估之間切換。Lin等人則展示了慢思維在SwiftSage等生成式代理中的價值，該代理使用雙重處理架構處理復雜的交互任務。

總之，慢思維(系統2)對于增強AI系統的穩健性和可靠性至關重要。嵌入深思熟慮的推理機制使LLM能夠實現更高的復雜性，應對微妙的場景，并提供更準確、經過深思熟慮的響應。

測試時間縮放

測試時間縮放是指在推理過程中根據任務復雜性動態調整計算資源的技術，主要包括搜索與采樣、動態驗證機制兩大類方法。

搜索與采樣

搜索方法主要包括波束搜索和蒙特卡洛樹搜索(MCTS)：

• 波束搜索在每一步保留固定數量的最高評分候選路徑，平衡了計算效率和生成質量。例如，LLaVA-O1框架引入了階段級波束搜索，將多模態推理結構化為四個不同階段，使較小的模型能夠在系統推理任務上超越更大的專有模型。
• 蒙特卡洛樹搜索(MCTS)則更為復雜。Marco-O1將推理步驟分解為更小的序列，以實現更精細的搜索空間探索。REBASE框架使用策略引導的展開模型策略改進節點評估，使用softmax歸一化的獎勵評分和獎勵加權采樣，使較小的模型也能高效導航搜索樹。

采樣技術則通過從相同初始條件產生多個輸出候選項，然后使用驗證機制策略性地聚合它們。主要有兩種范式：多數投票（選擇最頻繁的有效答案）和Best-of-N（利用獎勵模型識別最佳候選項）。

Brown等人的研究表明，重復采樣可以指數級擴展問題解決覆蓋范圍，同時強調了成本效益權衡。Xie等人將這些發現擴展到多模態設置，揭示采樣多樣性在視覺-語言模型中優于簡單增加去噪步驟。

長到短鏈思考(Long to Short CoT)

為優化長鏈思考(CoT)推理，研究者們提出了多種創新方法：

• OverThink框架揭示了推理LLM的脆弱性，展示了如何通過注入誘餌推理問題的減速攻擊破壞推理效率。
• LightThinker提出動態壓縮中間推理步驟，在復雜任務上實現更快推理，同時最小化性能權衡。
• TokenSkip策略實現選擇性跳過不太關鍵的標記，提供可控的CoT壓縮。
• Chain of Draft專注于生成簡潔但信息豐富的中間輸出以加速推理。

這些方法共同解決了長鏈思考推理的挑戰，實現了更高效、可擴展的推理系統。

動態驗證機制

動態驗證機制主要包括驗證引導策略和自我優化策略：

• 驗證引導策略是一種測試時優化方法，生成多個候選項并使用特定領域驗證器選擇最佳輸出，無需修改基礎模型參數。CoRe引入了雙系統認知框架，將推理分解為生成和驗證階段。Zhao等人發現，使用自我驗證策略擴展基于采樣的搜索方法可以顯著提高推理能力。
• 自我優化策略則基于評估結果識別錯誤或不足，并啟動糾正行動，如自我完善或重新生成，以提高輸出質量。這包括內在評估和置信度估計、步驟驗證和錯誤定位等技術。

搜索算法示意圖

強化學習

強化學習(RL)是一種計算方法，通過代理與環境交互來最大化累積獎勵。在推理LLM中，RL被廣泛應用于優化模型的決策能力。

策略網絡

策略網絡是增強LLM推理能力的關鍵組件，主要包括訓練數據獲取和多階段訓練策略兩個方面：

訓練數據獲取策略旨在解決初始訓練階段數據可用性有限的挑戰，主要包括：

• 數據合成與增強：生成合成數據以補充真實數據，增加多樣性，改善模型泛化能力。例如，Hou等人使用合成鏈思考數據初始化LLM，整合試錯和自我驗證；Kumar等人提示基礎模型生成自我糾正軌跡；Xu等人創建包含詳細推理過程的數據集。
• 遷移學習：利用現有模型基礎或相關領域知識，減少對新數據的依賴，加速新任務訓練。例如，Shao等人基于代碼訓練模型初始化數學推理模型；Gu等人使用預訓練模型作為遷移學習基礎；Abdin等人從先前模型轉移知識和能力。

多階段訓練策略則通過順序優化階段發展LLM的推理能力：

• 冷啟動微調階段：使用少量高質量推理數據初步微調基礎模型，幫助模型快速發展有效的推理框架。
• 拒絕采樣和監督微調階段：通過拒絕采樣等方法收集高質量推理數據，過濾低質量推理鏈，使用優化數據進行進一步監督微調。

獎勵設計

在為復雜推理任務設計的LLM中，獎勵模型(RM)是強化學習框架成功的基礎，主要包括基于監督的方法和基于獎勵源的模型：

基于監督的方法包括：

• 過程監督：過程獎勵模型(PRM)對推理過程中的每個步驟或中間狀態進行評估和打分，而不僅僅關注最終答案。這種細粒度的監督對復雜的多步驟推理任務特別有效。
• 結果監督：結果獎勵模型(ORM)僅根據最終任務輸出的正確性或質量提供獎勵信號，例如評估數學問題的最終答案是否正確。
• 混合模型：結合過程監督和結果監督的優勢，在某些基于搜索的推理框架中，過程評估可能指導搜索方向，而結果驗證則用于評估和選擇完整的推理路徑。

基于獎勵源的模型包括：

• 基于規則的獎勵模型：依賴預定義的規則、啟發式方法或自動驗證器生成獎勵信號，具有高客觀性、可解釋性和可擴展性等優勢。
• 偏好學習：通過比較不同的模型生成輸出來訓練獎勵模型，以反映人類偏好或其他預定義標準。PPO是RLHF中常用的策略優化算法，而DPO則作為RLHF中顯式獎勵建模步驟的更簡單、可能更穩定的替代方案受到關注。

自我進化

自我進化描述了模型利用其內在能力或與環境交互（可能包括自生成數據或反饋）來逐步提高其在推理、問題解決或特定任務上的表現的過程。這種范式旨在減少對大規模、高質量人類標注數據集的依賴。

自我評估和反饋是自我進化過程的關鍵組成部分，指模型評估自身生成輸出質量并將此評估用作指導未來行動的反饋信號的能力。關鍵方面包括自我批評和反饋生成，模型作為評論者分析自己的輸出并提供改進建議。

強化學習和自我訓練則作為使模型自主進化的基礎訓練范式，利用自生成數據或反饋信號驅動學習過程：

• 自我訓練通常遵循"生成-過濾-學習"的迭代循環，旨在使用自主產生的數據優化模型。
• 自我對弈引入了對抗性學習機制，模型不僅生成自己的訓練數據，還學習區分這些自生成數據和高質量的人類標注數據。

共同的是，迭代是驅動持續模型進化的基本引擎，建立一個隨著時間推移逐步提高推理性能的正反饋循環。

慢思維框架

慢思維框架是模擬人類深度、有意識思考過程的結構化方法，主要包括長鏈思考、層次推理和混合思維三大類。

長鏈思考(Long CoT)

長鏈思考是使大型語言模型能夠處理需要多步驟深思熟慮的復雜推理任務的基礎能力，主要通過以下方法實現：

數據蒸餾通過SFT已成為將復雜推理能力從大型教師模型傳遞到較小學生模型的主要技術。Wu等人證明SFT可以有效地將教師模型的顯式推理鏈轉移到學生模型，使后者能夠內化顯式和隱式推理模式。Ma等人提出的CoT-Valve方法識別參數空間方向以控制生成的CoT的詳細程度，促進不僅教師的顯式推理邏輯，還有高效隱式推理過程向學生模型的蒸餾。

長上下文擴展與改進顯著擴展了大型語言模型的上下文處理能力和推理熟練程度。例如，Kimi k1.5模型具有128K令牌的擴展上下文窗口，由優化的注意力機制支持。Zhao等人引入了Marco-o1框架，使用MCTS生成合成長鏈CoT數據，從而提高模型在需要擴展上下文理解的任務上的推理性能。

隱式推理指模型執行結構化、逐步問題解決的能力，而無需必須詳述每個中間計算或推導。一種常見方法是在訓練或推理期間使用特殊標記或指定標記，以鼓勵CoT過程的內部模擬。例如，Kimi k1.5使用?think?和?/think?等標記來構建其內部推理過程，引導其朝向多步驟解決方案。

反思和回溯機制使模型能夠監控內部推理過程，檢測錯誤，并動態調整其推理軌跡。例如，Guo等人提出了自我完善模式，模型通過遞歸檢查持續評估并在必要時糾正中間輸出。Min等人描述了一種自我改進范式，模型迭代生成高質量推理演示，然后將其納入訓練數據，使模型能夠逐步完善其推理策略。

層次推理

層次推理框架是克服單體模型在處理復雜、多步驟問題時的局限性的關鍵策略，通過顯式結構、代理協作、動態過程或潛在表示實現模塊化，以實現更可控、可解釋和穩健的推理：

顯式結構技術尋求改進控制。ReasonFlux通過分層強化學習(HRL)引入動態路徑查找，克服靜態推理路徑的限制。同時，Li等人利用專門設計的雙層代理檢索增強生成(RAG)和細化架構，通過受控的按需知識集成遏制錯誤級聯。

代理系統顯著增強了模型能力。MALT自動優化不同代理角色（生成、驗證、優化）。OctoTools通過標準化工具封裝創新，而Agentic Reasoning則將內部知識結構化（如思維導圖）與外部工具訪問結合，用于復雜研究領域。

動態控制機制解決了上下文敏感性和資源約束問題，提供增強的靈活性。MixLLM實現了成本感知動態查詢路由的層次元決策制定。AdaptiveStep則基于模型置信度引入推理過程的動態分割，優化計算資源分配。

潛在空間操作越來越多地針對模型的內部過程和表示。策略包括用于增強上下文學習的迭代優化，引入用于模塊化控制的顯式潛在思想向量，用于內在排列穩健性的對抗性訓練框架，以及潛在推理路徑的分類器引導探索。

混合思維

混合思維模式(HTM)框架受雙重過程認知理論啟發，通過整合快速、直覺處理（系統1）和深思熟慮、邏輯推理（系統2），增強大型模型推理能力，旨在克服單一模式處理的局限性：

引導搜索專注于協調快速和慢速過程之間的相互作用，常利用顯式控制或搜索算法。例如，HDFlow動態結合直接CoT推理與復雜工作流分解，而Dualformer則在結構上嵌入這種二元性。搜索和規劃算法也被廣泛采用：HaluSearch使用MCTS進行引導慢速生成以減輕幻覺；Q*采用Q值模型對LLM生成進行啟發式引導；Mulberry通過集體MLLM知識增強MCTS進行反思。

自適應控制則基于任務或模型狀態進行動態調整推理策略。DAST根據估計的問題難度調整CoT長度；Entro-duction使用模型輸出熵調節搜索深度；SIFT基于來自事實"貼紙"的預測差異觸發更慢的優化。

專用架構體現了雙重過程方法的結構方式，包括具有不同"說話者"（快速）和"推理者"（慢速）角色的代理系統，大型（慢速）和小型（快速）模型的協作（如FS-GEN），基于技能的混合專家路由（SYMBOLIC-MoE），以及結合快速神經生成和慢速符號驗證的神經符號工具（Lemmanaid）。

定制訓練顯示了混合思維模式概念對模型訓練策略和內部組件的影響，包括將自回歸模型與迭代處理器對齊（RELAY），蒸餾混合復雜度推理路徑（Mix Distillation），動態門控注意力（MoBA），以及在自我訓練期間平衡探索-利用（B-STaR）。

本質上，HTM框架通過動態整合快速直覺和深思熟慮的邏輯實現增強推理，通過引導搜索、自適應控制、專用架構和定制訓練等多種機制，提高大型模型在復雜任務上的效率、穩健性和適應性。

挑戰與未來方向

盡管慢思維推理LLM取得了顯著進展，但仍面臨諸多挑戰和有待探索的方向：

快思維與慢思維的平衡

在LLM中實現快思維和慢思維的平衡仍是一個重大挑戰。雖然一些研究嘗試結合這兩種思維模式（如Claude 3.7和Qwen 3），但當前LLM主要以快思維模式運行，依賴預訓練知識和模式識別。未來研究應關注設計能夠根據任務需求動態切換快慢思維的混合架構，確保推理的效率和深度。

多模態推理大型語言模型

將慢思維能力擴展到多模態推理是另一個有前景的方向?，F實世界的問題通常涉及多種模態，如文本、圖像、音頻和視頻。開發能夠整合多樣化信息源并進行慢速、深思熟慮推理的多模態模型，將顯著增強其適用性。挑戰包括跨模態表示對齊、確保推理一致性，以及擴展模型以處理多模態輸入的增加復雜性。

強化學習穩定性和獎勵設計

基于RL的微調（如RLHF或RLAIF）對提高LLM的推理能力至關重要，但這些方法常面臨訓練不穩定和獎勵黑客問題，模型可能利用獎勵函數中的漏洞獲得高分，而非真正提高推理質量。設計與推理質量而非表面模式相一致的穩健獎勵模型是一項非平凡任務。未來工作應探索新穎的獎勵設計策略，如將中間推理步驟納入獎勵函數，或利用人在循環反饋動態細化獎勵信號。

泛化與過度優化

訓練慢思維模型的風險之一是過度擬合特定推理基準，如GSM8K或MATH。雖然這些基準提供了寶貴的訓練數據，但可能無法完全捕捉現實世界問題解決場景的多樣性和復雜性。在基準上表現良好的模型在面對不熟悉的任務或領域時可能會遇到困難。未來研究應關注提高泛化能力的技術，如使用多樣化問題類型增強訓練數據，引入領域特定約束，以及評估模型在分布外任務上的表現。

自我改進強化學習框架

探索自我改進強化學習框架，如元強化學習或迭代自我訓練，代表了推進慢思維模型的激動人心方向。在這些框架中，模型通過迭代生成新訓練數據、評估其性能并更新其策略來學習完善自己的推理策略。成功實施自我改進RL框架可能導致持續進化和適應的模型，實現更高水平的推理能力。

人在循環優化

將人在循環優化納入是增強慢思維模型的另一個有前途的途徑。人類反饋可以提供關于模型困難領域的寶貴見解，如模糊推理步驟或錯誤假設。交互式反饋機制，如辯論系統或迭代糾正工作流，允許人類引導模型朝向更好的推理策略。以這種方式利用人類專業知識可以幫助在現實場景中完善慢思維模型，提高其可靠性和穩健性。

其他領域應用

將慢思維模型擴展到其他領域，如機器人、推薦系統和醫療保健，提供了巨大的影響潛力。在機器人領域，慢思維能力可以使機器人規劃復雜行動，推理不確定性，并適應動態環境。在推薦系統中，慢思維模型可以更深入地分析用戶偏好，考慮長期趨勢和上下文因素，提供個性化建議。在醫療保健領域，慢思維模型可以通過進行徹底、基于證據的推理，協助醫生診斷疾病、解釋醫療數據和設計治療計劃。

結論

本文全面探討了慢思維推理LLM的進展、方法和挑戰。通過追蹤主要模型的演變并分析慢思維、強化學習和知識蒸餾等關鍵技術，我們強調了在增強LLM執行復雜推理任務能力方面取得的顯著進展。對100多項研究的綜合表明，將研究努力分類為不同范式——測試時間縮放、強化學習和慢思維——每種范式都提供獨特的見解和權衡。

盡管取得了顯著進展，LLM中的推理仍遠未達到類人的穩健性和靈活性。平衡快慢思維、為強化學習設計可靠獎勵機制、確?？山忉屝砸约罢辖Y構化知識系統等關鍵問題仍然構成重大挑戰。隨著研究繼續推進這一前沿領域，我們可以期待更加智能、可靠和適應性強的AI系統的出現，這些系統能夠在從科學發現到決策支持的各種應用中展現真正的推理能力。

論文：https://arxiv.org/abs/2505.02665