混合推理模型（LHRM）：平衡效率與推理能力的新范式
大家好，我是肆〇柒。今天，我們來探討一下大型混合推理模型（LHRM）。在人工智能領域，大型推理模型（LRM）能夠自如的完成比如編程、數學和常識推理等任務。然而，這些模型在實際應用中卻暴露出過度思考的問題，簡單查詢面前，它們依然花費大量計算資源進行冗長的思考，這無疑是對計算資源的巨大浪費。比如，在處理日常問候語 “Hello” 時，模型依然啟動復雜的推理過程，這就好像大炮打蚊子，青龍偃月刀削土豆，能力過剩卻效率低下。
為解決這一難題，大型混合推理模型（LHRM）出現了。它可以根據用戶查詢的上下文信息，精準地決定是否啟動思考模式。這不僅為人工智能領域提供了新的解決方案，還讓我們看到了在推理能力和效率之間取得平衡的可能性。
Qwen2.5-7B-Instruct、DeepSeek-R1-Distill-Qwen-7B以及本文中的LHRM-7B在推理相關任務（頂部）和日常問答任務（底部）中的示例回答上圖展示了 Qwen2.5-7B-Instruct、DeepSeek-R1-Distill-Qwen-7B 和本文中的 LHRM-7B 在推理相關任務（頂部）和日常問答任務（底部）中的示例響應。雖然 LLMs 對簡單查詢響應簡潔，但在復雜推理方面表現掙扎。LRM 通過明確的思考步驟處理推理任務，但往往在簡單任務中過度使用思考模式，導致響應速度變慢，用戶體驗下降。相比之下，LHRM 能夠自適應地決定何時啟動思考模式，在保持強大推理能力的同時，實現更快速、更自然的日常交互。
研究背景與動機
LRM 的發展現狀
LRM 模型在今年大量涌現，DeepSeekR1、OpenAI o1/o3 系列等模型各顯神通。它們如同探險家，不斷開辟新的領域，在各自的任務中表現出色。這些模型通過生成長推理鏈，展現出強大的推理能力，為解決復雜問題提供了新的思路。
然而，LRM 在追求強大推理能力的同時，卻忽視了效率問題。這就像一輛追求速度的賽車，卻在城市道路上頻繁急剎，造成了資源的浪費。現有研究多集中于提升 LRM 的性能，卻鮮少關注其在實際應用場景中的效率表現，這使得 LRM 在面對簡單任務時，依然會啟動復雜的推理過程，導致計算資源的浪費。
過度思考的困境
以一個簡單的數學計算為例，對于 “2 + 2” 這樣的問題，LRM 會啟動完整的推理過程，生成詳細的思考步驟，這無疑是對計算資源的浪費。過度思考現象在實際應用中屢見不鮮，它如同一個無形的黑洞，吞噬著寶貴的計算資源，導致延遲增加，用戶體驗下降。
研究顯示，過度思考在簡單查詢中會導致性能提升有限，卻消耗了大量計算資源。這就像在平靜的湖面上航行，卻依然全速運轉船槳，既浪費了能量，又未能顯著提升速度。對于 LRM 來說，如何在推理能力和效率之間找到平衡點，成為需要解決的問題。
人類認知的智慧啟示
人類在面對復雜問題時，會分析各種線索；而在面對簡單問題時，則憑借直覺快速作答。這種認知模式如同一個智能的切換開關，能夠在不同情境下靈活調整思考方式。
借鑒人類認知模式，LHRM 的設計理念被提出。它如同一個可以自適應思考模式的智能助手，能夠根據查詢的難度和類型，動態選擇思考模式。這不僅提高了模型的效率，還保留了其強大的推理能力，使其在實際應用中更加實用。
LHRM 技術創新
混合推理模型架構分析
LHRM 擁有兩種思考模式，思考模式（Thinking）如同一個深思熟慮的學者，會生成詳細的推理過程；無思考模式（No-Thinking）則像一個敏銳的直覺者，直接給出答案。這種雙模式架構使模型能夠在不同任務中自由推理。
模型的目標是為每個查詢選擇最優的推理模式，以最大化任務特定效用函數的期望值。這如同一個智能的導航系統，能夠根據路況選擇最佳路線，確保模型在處理各種任務時都能達到最佳性能。
兩階段訓練管道的深度剖析
第一階段：混合微調（HFT）
HFT 階段整合了推理密集型和直接答案型數據，為模型提供了豐富的學習素材。推理密集型數據來源于高質量的數學、代碼和科學問題數據集，如 DeepSeekR1 的數學數據集和 OpenR1-Codeforces 數據集等；直接答案型數據則從 WildChat-1M 等對話數據中篩選出簡單查詢，通過 FastText 分類器排除復雜推理任務。
下表展示了第一階段的數據分布和來源，涵蓋了推理密集型和直接答案型數據的詳細信息，包括數據集的類別、來源和大小等。這些數據為 HFT 階段提供了多樣化和高質量的學習素材，確保模型能夠充分學習到不同任務的特點。
第一階段的數據分布及來源
訓練過程中，通過動態調整兩種數據的占比，確保模型能夠充分學習到兩種思考模式的特點。例如，在訓練初期，推理密集型數據占比約為 70%，隨著訓練的進行，逐漸調整到 50%，以平衡兩種數據的影響。
基于構造的數據集，訓練模型next token predict，為第二階段強化學習奠定堅實基礎。這一步驟如同為模型安裝了一個精準的導航系統，使其在后續的學習中能夠朝著正確的方向前進。
第一階段思考數據和非思考數據的標記長度分布
上圖描述了第一階段中思考模式（Thinking）和無思考模式（No-Thinking）數據的token長度分布情況。思考模式數據的平均長度為 575 個token，而無思考模式數據的平均長度為 4,897 個token。這表明推理密集型任務通常需要更長的推理過程，而直接答案型任務則更加簡潔直接。
第二階段：混合組策略優化（HGPO）的深度探索
為每個查詢在兩種推理模式下分別采樣多個候選響應。這如同在茫茫大海中撒網，盡可能多地捕獲潛在的優質答案。具體而言，對于每個查詢，使用舊策略 πθHFT 在思考模式和無思考模式下分別采樣 N/2 個候選響應。例如，當 N=4 時，為每個查詢采樣 2 個思考模式響應和 2 個無思考模式響應。
下圖展示了 HGPO 的工作流程，包括（1）使用兩種推理模式對每個查詢 q 采樣多個響應；（2）通過獎勵模型對響應進行評分，并根據公式 9 分配獎勵；（3）計算優勢值和策略損失，并更新策略模型。AE 表示優勢估計器，獎勵分配表示公式 9。
混合組策略優化的演示
應用獎勵函數對候選輸出進行評分，并基于規則分配組內和組間獎勵。這一步驟如同對捕獲的魚進行篩選，選出最優質、最符合要求的答案。我們可以首先計算每種模式的平均獎勵，然后基于平均獎勵分配組間獎勵，同時在每種模式內分配組內獎勵。例如，在一個查詢的采樣響應中，思考模式的平均獎勵為 8.5，無思考模式的平均獎勵為 7.5，那么思考模式的響應將獲得組間獎勵 1，而無思考模式的響應將獲得組間獎勵 0。同時，在每種模式內，獎勵最高的響應將獲得組內獎勵 1，其他響應獲得組內獎勵 0。
通過最大化目標函數來更新策略模型，同時控制 KL 散度以保持模型穩定性。這如同在風浪中駕駛船只，既要追求速度，又要保持穩定，確保模型在優化過程中不會偏離正確的方向。具體的目標函數為：
以下偽代碼演示的算法詳細描述了 HGPO 的算法步驟，包括初始化策略模型、采樣響應、計算獎勵、分配獎勵、計算優勢值和更新策略模型等過程。
混合組策略優化算法
混合思考能力評估指標——混合準確率（HAcc）
HAcc 指標如同一把精準的尺子，用于衡量模型正確選擇推理模式的能力。它不僅關注模型的答案是否正確，更關注模型是否選擇了最適合的推理方式。基于獎勵模型對兩種模式下生成的響應進行評分，確定每個查詢的最優推理模式，計算模型選擇模式與最優模式一致的比例。具體計算公式為：
實驗設計與結果分析
實驗設置的深度剖析
與多種 LLM 和 LRM 進行比較，包括 Qwen2.5 系列模型和 DeepSeek-R1-Distill 系列模型。這如同在競技場上邀請多位選手同臺競技，確保實驗結果的全面性和客觀性。
涵蓋推理能力（數學和編程相關基準測試）、通用能力（開放式生成任務）以及混合思考能力（HAcc）。這如同從多個角度審視選手的表現，確保評估結果的全面性和準確性。
詳細說明兩階段訓練的數據集、優化器、學習率等參數設置。例如，在第一階段，使用 1.7M 條混合格式的訓練樣例，訓練 3 個 epoch，采用 AdamW 優化器，最大學習率為 1e?4，批大小為 128，最大序列長度為 32k tokens。在第二階段，從 Deepscaler 和 Tülu3 數據集中隨機采樣 76K 個查詢，使用 Llama-3.1-Tulu-3-8B-RM 作為參數化獎勵模型，采用 AdamW 優化器，常數學習率為 1 × 10?6，批大小為 256，微批大小為 8，設置 α = 1.0 和 margin = 0.2。
第二階段的數據分布和來源上表展示了 Stage II 的數據分布和來源，涵蓋了從 Deepscaler 和 Tülu3 數據集中采樣的詳細信息，確保訓練數據的多樣性和質量。
主要結果的深度解讀
LHRM 在 1.5B 和 7B 參數規模下均超越所有基線模型，在數學、編程和通用任務上表現出色。例如，在 MATH500 數據集上，LHRM-1.5B 的準確率為 87.8%，相較于 HFT-DPO-1.5B 的 86.8% 有顯著提升；在 Alpaca 和 Arena-Hard 任務上，LHRM-7B 分別比 HFT-DPO-7B 高出 50.2% 和 93.4%。
LHRM 在 HAcc 指標上顯著領先，證明其能有效適應不同難度和類型的查詢。例如，在 MATH500 數據集上，LHRM-1.5B 的 HAcc 為 93.8%，遠高于 HFT-DPO-1.5B 的 48.1% 和 HFT-RFT-1.5B 的 38.3%。
分別探討 HFT 和 HGPO 階段對模型性能的影響，驗證兩階段訓練的有效性。例如，HFT 階段使模型在推理能力和通用能力上均得到顯著提升，而 HGPO 階段進一步優化了模型的推理模式選擇能力，使模型在 HAcc 指標上取得了巨大進步。
不同任務間的性能比較上表展示了不同模型在各項任務上的性能對比，包括 MATH500、AIME24、AMC23、Olympiad Bench、LiveCodeBench、MBPP、MBPP+、AlpacaEval 2.0 和 ArenaHard 等。LHRM 在所有任務中均表現出色，尤其在 HAcc 指標上顯著領先。
深入分析的全方位探索
不同優勢估計器的影響
比較 REINFORCE++、GRPO 和 RLOO 等估計器在 HGPO 訓練中的效果，證明 HGPO 對估計器選擇的魯棒性。例如，使用 REINFORCE++ 時，模型的 HAcc 為 92.5%，使用 GRPO 時為 93.8%，使用 RLOO 時為 91.2%。進一步分析表明，REINFORCE++ 在處理復雜推理任務時收斂速度較快，但 GRPO 在簡單任務中能更穩定地選擇最優模式。這使得在實際應用中，可以根據任務的復雜程度選擇合適的估計器，以達到最佳的訓練效果。
關于優勢估計器和邊界值δ影響的消融研究上圖展示了不同優勢估計器和超參數 δ 對 HGPO 訓練效果的影響。結果顯示，GRPO 在大多數情況下表現最佳，而 δ 的取值對模型在兩種推理模式間的權衡有顯著影響。
超參數 δ 的關鍵作用
分析 δ 不同取值對模型在兩種推理模式間權衡的影響，為實際應用中的參數調整提供參考。例如，當 δ=0.2 時，模型傾向于更多地使用思考模式；當 δ=0.5 時，模型更傾向于使用無思考模式。實驗表明，在實時性要求較高的場景（如智能客服）中，將 δ 設置為 0.5 可以顯著降低響應延遲；而在對推理質量要求極高的場景（如數學證明），δ 設置為 0.2 則能更好地保證推理的準確性。
單一領域內LHRM的思維比率分析上圖展示了 LHRM 在單一領域內不同難度任務的思考比率分布情況。隨著任務難度的降低，模型的思考比率逐漸減少，表明模型能夠自適應地選擇推理模式，減少不必要的推理步驟。
不同領域中LHRM思維比率的分析上圖展示了 LHRM 在不同領域（數學、編程和通用任務）中的思考比率分布情況。結果顯示，模型在不同領域中均能根據任務特點動態調整思考模式，確保推理效率和質量的平衡。
模型規模與推理行為的關系
研究 1.5B 和 7B 模型在 RL 訓練過程中的思考比率變化，揭示模型規模與推理策略的關系。例如，1.5B 模型在訓練初期的思考比率為 70%，隨著訓練的進行逐漸增加到 85%；而 7B 模型在訓練初期的思考比率為 60%，隨著訓練的進行逐漸減少到 45%。這表明，較小規模的模型在訓練過程中需要更多的思考來補償其有限的參數容量，而較大規模的模型則能更快地掌握任務規律，減少不必要的推理步驟。
模型規模的消融研究上圖展示了模型規模對推理行為的影響。隨著模型規模的增大，模型在簡單任務中更傾向于使用無思考模式，而在復雜任務中則能更高效地進行推理。
跨領域泛化能力的深度驗證
評估在數學和通用領域訓練的模型在編程領域的表現，驗證 LHRM 的跨領域適應性。例如，LHRM-1.5B 在 MBPP 數據集上的準確率為 61.1%，相較于 HFT-DPO-1.5B 的 53.3% 有顯著提升；在 MBPP+ 數據集上的準確率為 63.9%，相較于 HFT-DPO-1.5B 的 55.0% 也有明顯提高。進一步分析發現，LHRM 在處理編程任務時，能夠通過遷移數學和通用領域的推理策略，快速適應代碼生成任務的要求，體現了其強大的泛化能力。
來自DeepSeek-R1-Distill-Qwen-7B和本文的LHRM-7B模型的示例輸出上圖展示了 DeepSeek-R1-Distill-Qwen-7B 和本文中的 LHRM-7B 模型在簡單問題上的示例輸出。對于簡單問題，LHRM 能夠自適應地選擇無思考模式，快速給出準確答案，顯著提升響應速度。
LHRM-7B采用無思考模式解決簡單的數學問題上圖展示了 LHRM-7B 在解決簡單數學問題時使用無思考模式的示例。模型直接輸出答案，無需冗長的推理過程，顯著提高了處理簡單任務的效率。
LHRM-7B 學會了選擇思考模式來解決復雜的代碼問題上圖展示了 LHRM-7B 在解決復雜代碼問題時選擇思考模式的示例。模型生成詳細的推理步驟，逐步解決問題，確保推理的準確性和完整性。
總結與展望
提出混合推理模型架構、兩階段訓練管道和 HAcc 評估指標，在提升推理能力和通用性能的同時顯著提高效率。這為后續研究提供了新的方向和思路。
在實際應用中，LHRM 的潛力是巨大的。以智能客服為例，LHRM 能夠根據用戶問題的復雜程度動態調整思考模式。對于簡單的查詢，如 “如何重置密碼”，模型快速切換到無思考模式，直接給出簡潔明了的答案，顯著降低響應延遲，提升用戶體驗。而對于復雜的技術支持問題，如 “服務器頻繁崩潰的原因分析”，LHRM 則啟動思考模式，生成詳細的推理步驟，逐步排查問題，最終提供精準的解決方案。這種智能切換不僅提高了客服效率，還確保了問題解決的準確性。
在自動編程領域，LHRM 根據代碼邏輯的難易程度選擇推理模式。對于簡單的代碼生成任務，如 “生成一個計算數組平均值的函數”，模型快速輸出代碼，滿足開發者的即時需求。而對于復雜的算法設計問題，如 “優化大規模數據處理的分布式算法”，LHRM 則通過深度推理，逐步構建算法框架，驗證其正確性和性能，幫助開發者攻克技術難題。這種高效的代碼生成和算法設計能力，將極大地推動軟件開發的智能化進程。
在數學教育領域，LHRM 為學生提供個性化的數學問題解答和推理過程指導。對于基礎的數學運算問題，如 “解一元二次方程”，模型直接給出答案和簡潔的步驟，幫助學生快速掌握解題方法。而對于復雜的數學證明題，如 “證明費馬大定理在某些特殊情況下的成立”，LHRM 則生成詳細的推理過程，引導學生逐步理解證明邏輯，培養其數學思維能力。這種因材施教的智能輔導方式，將為數學教育帶來革命性的變化。
參考資料
- Think Only When You Need with Large Hybrid-Reasoning Models
https://arxiv.org/pdf/2505.14631
https://github.com/hiyouga/LLaMA-Factory
- github repo - volcengine/verl
