大家好，我是肆〇柒。在當下，大型語言模型（LLM）憑借其強大的語言理解和生成能力，在眾多領域展現出了巨大的潛力。然而，盡管 LLM 在處理常規任務時表現出色，但在面對復雜推理任務時，卻常常暴露出明顯的短板。

例如，在解決數學問題時，LLM 需要進行多步邏輯推理和精確的數值計算，但在這一過程中，模型往往會因為邏輯鏈條的斷裂或計算步驟的遺漏而導致錯誤答案。類似的情況也出現在邏輯推理和創造性寫作等任務中。為了克服這一難題，研究者們提出了 Chain-of-Thought（CoT）推理方法。CoT 方法通過引導模型逐步輸出中間推理步驟，最終得出答案，從而顯著提升了模型在復雜任務中的表現。相關實驗表明，在采用 CoT 方法后，LLM 在數學問題求解等復雜任務上的準確率得到了顯著提升。

然而，CoT 推理方法并非完美無缺。其主要問題在于，無論查詢的復雜程度如何，CoT 都會生成 lengthy 的推理步驟，這導致了巨大的計算成本和低下的運行效率。例如，對于簡單的算術問題 “1+1=？” 或者一些簡單的事實性查詢，CoT 方法依然會啟動復雜的推理過程，這無疑是對計算資源的浪費。這種無差別的推理觸發機制，使得 LLM 在實際應用場景中面臨著巨大的推理成本壓力，限制了其在資源敏感型環境下的廣泛應用。

針對上述問題，我在瀏覽論文的時候，發現了字節跳動的一篇關于模型自適應思考的框架，叫 AdaCoT。它通過將自適應推理觸發機制與強化學習相結合，實現了在模型性能和 CoT 調用成本之間的有效平衡。AdaCoT 框架的核心思想是根據查詢的復雜程度，智能地決定是否啟動 CoT 推理過程，從而在保證復雜任務高性能的同時，大幅降低簡單查詢的推理成本。字節的論文在今年之前很少見到，最近倒是讀到好幾篇。下面我們一起來看看字節這篇介紹 AdaCoT 的論文都說了什么。

相關工作回顧

CoT 推理的發展歷程

CoT 推理方法自提出以來，便在人工智能領域引起了廣泛關注。早期的 LLM 在處理復雜任務時，往往直接生成最終答案，忽略了中間推理過程，這導致模型在面對多步邏輯推理任務時容易出錯。而 CoT 方法的出現，徹底改變了這一局面。通過模仿人類解決問題時的逐步思考過程，CoT 方法引導模型先輸出中間推理步驟，再得出最終答案。這一創新方法在多個復雜任務中展現出了顯著的優勢。

在數學推理領域，CoT 方法通過引導模型進行分步計算和邏輯推理，大幅提升了模型在解決算術問題、代數方程求解、幾何證明等任務上的準確率。例如，在某項關于數學問題求解的研究中，采用 CoT 方法后，模型的準確率從 60% 提升至 85%。同樣，在邏輯推理任務中，CoT 方法幫助模型更好地梳理邏輯鏈條，避免了因中間步驟缺失而導致的錯誤。在創造性寫作任務中，CoT 方法使得模型能夠先構思故事大綱、角色設定等關鍵要素，再逐步展開情節創作，從而生成更加連貫、富有邏輯性的作品。

此外，CoT 方法還在自然語言推理、代碼生成與調試、多輪對話等眾多領域展現出了廣泛的應用前景。隨著研究的不斷深入，CoT 方法也在不斷進化。從最初的簡單分步提示，到后來結合多種提示策略和優化方法，CoT 方法在提升模型性能方面取得了顯著進展。例如，研究者們提出了多種改進的 CoT 方法，如通過引入多種角度的提示信息、采用動態調整提示策略等，使得模型在不同任務中的表現更加出色。

然而，盡管 CoT 方法在提升模型性能方面取得了巨大成功，但其高計算成本和低效率問題也日益凸顯。尤其是在處理大規模數據和實時性要求較高的應用場景中，CoT 方法的這一缺點成為了限制其進一步發展的瓶頸。

現有 CoT 優化方法的局限性剖析

為了降低 CoT 推理的計算成本，研究者們提出了多種優化方法。這些方法大致可以分為以下幾類：

1. 縮短 CoT 長度 ：一些方法試圖通過限制推理步驟的數量或者優化推理路徑來縮短 CoT 的長度。例如，通過設定最大推理步數限制，或者采用啟發式搜索算法尋找更短的推理路徑。然而，這些方法往往在縮短長度的同時，可能會導致推理過程的不完整性，進而影響模型的準確率。例如，在某項實驗中，當將推理步驟限制在 3 步以內時，模型在復雜數學問題求解任務上的準確率下降了 20%。

2. 調整輸出結構 ：另一些方法通過對 CoT 輸出結構進行調整來降低計算成本。例如，采用分層輸出結構，將關鍵推理步驟提取出來，減少冗余信息。但這種方法在處理復雜多變的查詢時，可能會因為輸出結構的固定而無法適應不同的推理需求，導致模型在某些場景下的性能受限。

3. 使用顯式指令或選擇機制 ：還有一些方法通過給模型提供顯式的指令或者設計特定的選擇機制來控制 CoT 的使用。例如，在查詢中明確指示模型是否需要進行詳細推理，或者根據預定義的規則選擇是否啟動 CoT。然而，這些方法往往需要人工干預或者對查詢進行預分類，缺乏自動化和自適應的能力。在實際應用中，查詢的復雜性和多樣性使得人工預分類變得不切實際，而預定義規則又難以適應各種不同的情況。

綜上所述，現有的 CoT 優化方法在適應查詢復雜性變化、動態調整推理深度等方面存在明顯的局限性。它們無法根據查詢的具體復雜程度智能地決定是否啟動 CoT 推理過程，從而在模型性能和計算成本之間實現最佳平衡。這些局限性為 AdaCoT 框架的提出提供了充分的對比依據和研究空間。

AdaCoT 框架

核心思想與目標定位

AdaCoT 框架的核心思想是將自適應推理觸發視為一個多目標優化問題。在這一框架下，模型需要在兩個相互競爭的目標之間找到最佳平衡：一是最大化模型性能，即提高對復雜查詢的推理準確率；二是最小化 CoT 使用成本，即降低對簡單查詢的推理資源消耗。為了實現這一目標，AdaCoT 框架采用了 Pareto 優化理論作為其理論基礎。

Pareto 優化是一種在多目標優化問題中尋找最優解的方法。在 AdaCoT 框架中，通過構建合適的優化模型，將模型性能和 CoT 使用成本作為兩個優化目標，尋求在不同目標之間達到 Pareto 前沿的解決方案。具體來說，AdaCoT 框架通過定義模型性能指標和 CoT 使用成本指標，構建了一個多目標優化函數，并利用強化學習方法來動態調整模型的推理觸發決策邊界。

AdaCoT 框架的目標是使得模型能夠在面對不同復雜程度的查詢時，自適應地觸發 CoT 推理過程。對于復雜查詢，模型將啟動詳細的推理步驟，以確保準確的答案；而對于簡單查詢，則直接給出答案，避免不必要的推理開銷。通過這種方式，AdaCoT 框架是為了實現模型性能和計算成本之間的最佳平衡，從而提高 LLM 在實際應用中的效率和經濟性。

訓練流程解析

1. 數據準備與有監督微調（SFT）

在數據準備階段，AdaCoT 框架采用了一個輔助模型來對訓練數據進行標注。這個輔助模型基于一組預定義的原則，如查詢復雜性、預期推理深度和領域等，對查詢進行評估，判斷其是否需要 CoT 推理。具體來說，輔助模型會分析查詢的結構、涉及的知識領域、可能的推理步驟等因素，將查詢標記為 “需要 CoT 推理” 或 “不需要 CoT 推理”。

例如，對于一個數學方程求解的查詢，輔助模型會根據方程的類型、變量數量、運算復雜性等因素，判斷其需要多步推理過程，從而標記為 “需要 CoT 推理”。而對于一個簡單的事實性查詢，如 “誰是美國第一任總統？”，則會被標記為 “不需要 CoT 推理”。

基于這些標注結果，SFT 數據集被構建為兩種結構。對于需要 CoT 推理的查詢，其對應的響應將包含完整的推理過程，格式為 “think”reasoning_steps”/think”answer”。而對于不需要 CoT 推理的查詢，響應則省略了明確的推理過程，格式為 “think”/think”answer”。

SFT 階段的訓練過程類似于傳統的監督學習。模型通過學習 SFT 數據集中的輸入 - 輸出對，初步建立起對 CoT 推理適用場景的認知。這一階段的訓練使模型能夠根據輸入查詢的特征，初步判斷是否需要啟動 CoT 推理過程，并生成相應的響應格式。SFT 階段的訓練對于模型的性能提升具有基礎性作用，它為后續的強化學習階段提供了良好的初始化。

為了評估 SFT 階段的訓練效果，研究者們采用了一系列評估指標，如準確率、F1 分數、召回率和精確率等。通過在驗證集上的測試，可以定量地分析模型在初步 CoT 推理觸發決策方面的能力。例如，在某次實驗中，經過 SFT 階段訓練后的模型在驗證集上的準確率達到 75%，相較于未經過 SFT 訓練的模型提升了 15 個百分點。

2. 強化學習（RL）階段

強化學習階段是 AdaCoT 框架的核心部分。在這一階段，模型通過與環境的交互，不斷調整其 CoT 推理觸發策略，以實現模型性能和 CoT 使用成本之間的最優平衡。

獎勵函數是 RL 階段的關鍵組成部分。其具體構成如下：

•  Rbase(x, r) ：這是基礎獎勵部分，用于衡量模型生成的響應在質量上的優劣。它通常基于一些預定義的評估指標，如響應的準確性、相關性、連貫性等。例如，在數學問題求解任務中，如果模型的最終答案正確，Rbase(x, r) 將獲得較高的分數；如果答案錯誤，則得分較低。具體的計算方法可以表示為：

      a.對于數學問題求解任務，Rbase(x, r) = 1（答案正確）或 0（答案錯誤）。

      b. 對于自然語言推理任務，Rbase(x, r) 可以根據語義相似度計算，例如采用余弦相似度衡量模型生成的響應與參考答案之間的語義相似度，相似度越高，Rbase(x, r) 越高。

      c.對于創造性寫作任務，Rbase(x, r) 可以通過一些文本質量評估指標來確定，如文本的連貫性、豐富度等，采用預訓練的質量評估模型進行打分。

• Pmiss(x, r) ：這是一個二元懲罰項，用于對模型在需要 CoT 推理時未啟動 CoT 推理的情況進行懲罰。當模型面對復雜查詢而未能觸發 CoT 推理，導致答案錯誤或質量低下時，Pmiss(x, r) 將對模型進行懲罰，懲罰力度由懲罰系數 α1 控制。例如，若模型對一個需要分步推理的數學問題直接給出了錯誤答案，則 Pmiss(x, r) = 1，模型將受到懲罰。
• Pover(x, r) ：另一個二元懲罰項，用于對模型在不需要 CoT 推理時錯誤地啟動 CoT 推理的情況進行懲罰。當模型對簡單查詢啟動了不必要的 CoT 推理過程時，Pover(x, r) 將發揮作用，懲罰系數為 α2。例如，模型對 “誰是美國第一任總統？” 這類簡單事實性查詢啟動了 CoT 推理，則 Pover(x, r) = 1，模型將受到相應的懲罰。
• Pfmt(r) ：用于對響應格式錯誤的情況進行懲罰。如果模型生成的響應不符合預定義的格式要求，如在需要 CoT 推理時未正確輸出推理步驟，或者在不需要 CoT 推理時出現了多余的推理內容，Pfmt(r) 將對模型進行懲罰，懲罰系數為 γ。例如，模型在不需要 CoT 推理時，生成的響應中包含了 “think” 標簽內的多余推理內容，則 Pfmt(r) = 1，模型將受到懲罰。

通過調整懲罰系數 α1、α2 和 γ，可以引導模型在不同查詢復雜性下探索最優的推理策略。例如，當增加 α1 的值時，模型將更加傾向于啟動 CoT 推理過程，以避免因錯過 CoT 推理而導致的懲罰；而增加 α2 的值，則會使模型更加謹慎地啟動 CoT 推理，避免不必要的推理開銷。

在訓練過程中，模型通過不斷地試錯和學習，逐步收斂到 Pareto 前沿的解決方案。具體來說，模型在與環境交互過程中，根據當前的策略生成響應，并計算相應的獎勵值。然后，模型根據獎勵值對策略進行更新，以期在未來獲得更高的累計獎勵。這一過程反復進行，直到模型的策略在不同查詢復雜性下達到最優平衡。

為了更詳細地說明獎勵函數的計算方法和模型的決策機制，下面以一個具體的例子進行說明：

假設我們有一個數學問題求解的查詢：“已知三角形的三邊長分別為 3、4、5，求這個三角形的面積。” 在訓練過程中，模型可能會嘗試不同的策略：

• 在某一次嘗試中，模型判斷這是一個簡單查詢，直接給出了答案 “6”。此時，模型的響應不符合 CoT 推理的格式要求（未包含推理步驟），但答案是正確的。在這種情況下，Rbase(x, r) = 1（答案正確），Pfmt(r) = 1（格式錯誤），Pmiss(x, r) = 0（模型未觸發 CoT 推理，但答案正確，未造成性能損失），Pover(x, r) = 0（模型未觸發 CoT 推理，符合實際情況）。根據獎勵函數公式，模型的總獎勵值將受到 Pfmt(r) 的懲罰，模型會根據這一懲罰信號調整策略，增加對格式正確性的關注。
• 在另一次嘗試中，模型啟動了 CoT 推理過程，逐步計算半周長、應用海倫公式等步驟，最終得出了正確答案。這時，模型的響應符合 CoT 推理的格式要求，Rbase(x, r) = 1（答案正確），Pfmt(r) = 0（格式正確），Pmiss(x, r) = 0（正確觸發了 CoT 推理），Pover(x, r) = 0（正確觸發了 CoT 推理）。模型獲得了較高的總獎勵值，從而強化了這一正確的推理觸發策略。
• 在又一次嘗試中，模型錯誤地對一個需要 CoT 推理的復雜查詢（如一個需要多步邏輯推理的數學證明問題）未觸發 CoT 推理，直接給出了錯誤答案。此時，Rbase(x, r) = 0（答案錯誤），Pmiss(x, r) = 1（未觸發 CoT 推理導致性能損失），Pfmt(r) = 0（格式符合簡單查詢的要求），Pover(x, r) = 0（未觸發 CoT 推理）。模型的總獎勵值較低，模型將根據這一反饋信號調整策略，增加對復雜查詢的 CoT 推理觸發概率。

通過這種方式，模型逐漸學習到對于不同類型的查詢，如何觸發 CoT 推理能夠獲得更高的獎勵，從而實現了推理觸發策略的優化。

Selective Loss Masking（SLM）技術是 RL 階段的另一個重要創新。在多階段 RL 培訓過程中，尤其是在處理具有偏斜 CoT 分布的數據集（例如數學數據集，CoT 推理幾乎總是有益的）時，模型可能會出現決策邊界崩潰的現象。即模型可能會退化為始終啟動或始終不啟動 CoT 推理的同質化行為，從而失去在早期培訓階段學到的精細決策能力。

SLM 技術通過選擇性地屏蔽關鍵 “決策token” 的損失貢獻來解決這一問題。在 RL 訓練過程中，當模型的輸出接近決策token（即 “think” 標簽）時，SLM 會暫時忽略該token的損失計算。具體來說，SLM 通過以下步驟實現：

1.  識別決策token ：在模型生成的響應序列中，定位到表示 CoT 推理開始的 “think” 標簽及其對應的結束標簽 “/think”。這兩個標簽之間的內容即為 CoT 推理部分，而 “think” 標簽本身是決定是否啟動 CoT 推理的關鍵決策token。
2.  屏蔽損失計算 ：在計算損失函數時，對于決策token “think” 的損失貢獻進行屏蔽，即不將其納入總的損失計算中。這樣，模型在訓練過程中不會因為單一決策token的錯誤而受到過大的損失影響，從而能夠更好地保持對 CoT 推理觸發比率和分布的穩定性。
3. 與模型優化相結合 ：SLM 技術與模型的優化過程緊密結合。在每次迭代更新模型參數時，SLM 確保模型在學習其他部分（如 CoT 推理內容、最終答案等）的同時，不會過度擬合于決策token的預測，從而維持了模型對 CoT 推理觸發決策的泛化能力。

例如，在數學問題求解數據集的 RL 訓練中，由于大部分查詢都需要 CoT 推理，模型可能會傾向于總是啟動 CoT 推理。通過應用 SLM 技術，當模型在某些簡單查詢上錯誤地啟動 CoT 推理時，SLM 會屏蔽這一決策token的損失貢獻，使得模型能夠有機會調整其策略，而不會因為這一錯誤決策而導致整個訓練過程的偏差過大。實驗結果顯示，應用 SLM 技術后，模型在保持 CoT 推理觸發比率方面表現出顯著的穩定性提升，其自適應 CoT 推理觸發能力得到了有效增強。

實驗評估

實驗設置細化

實驗所用的 LLM 基礎模型是一個內部的 15B/150B 參數的 Mixture-of-Experts（MoE）模型。MoE 模型是一種高效的模型架構，通過在不同的輸入數據上激活不同的專家網絡，從而在保持模型性能的同時降低了計算成本。該模型具有大規模的參數量，能夠捕捉復雜的語言模式和語義信息，為 AdaCoT 框架的實現提供了強大的基礎支持。

SFT 和 RL 訓練數據集的構建過程經過精心設計，以確保數據的多樣性和代表性。數據來源廣泛涵蓋了多個領域，包括數學、推理、專業學科（如法律、醫學）、對話、創造性寫作和一般知識問答等。這種廣泛的領域覆蓋確保了模型能夠學習到不同類型任務的特征和需求，從而在實際應用中具有更好的適應性。

在數據集的構建過程中，研究者們采用了原則引導的評估方法對 CoT 必要性進行標注。具體來說，對于每個查詢，輔助模型根據預定義的原則（如查詢復雜性、預期推理深度、領域等）進行評估，判斷其是否需要 CoT 推理。在 SFT 數據集的標注過程中，大約 67% 的樣本被標記為需要 CoT 推理，而在 RL 數據集中，這一比例約為 40%。這種標注比例反映了不同數據集在查詢復雜性分布上的差異，同時也為模型在不同階段的訓練提供了合適的指導。

實驗評估涉及到 15 個開源基準數據集，這些數據集在特性和評估指標上各具特色。例如，MMLU-Pro 數據集是一個增強版的多任務語言理解基準測試，專注于復雜推理問題；SuperGPQA 數據集則涵蓋了 285 個研究生學科的知識和推理能力評估；還有 AIME24 & AIME25 數據集，用于評估數學推理和問題解決能力。這些數據集從不同角度對模型的性能進行了全面的測試，確保了評估結果的可靠性和有效性。

此外，研究者們還精心創建了一個包含 1000 個日常使用提示的測試集。這些提示涵蓋了各種類型的查詢，從簡單事實性問題到復雜推理任務，具有廣泛的難度分布。為了確保標注的準確性，這些提示的標注結果經過了人工驗證。通過這種方式，研究者們構建了一個高質量的測試集，用于評估模型在實際應用場景中的自適應 CoT 推理觸發性能。

Pareto 前沿深度分析

在 15 個基準數據集上的實驗結果顯示，AdaCoT RL 模型變體（Exp1-Exp4）在平均得分與 CoT 觸發率的關系曲線上，形成了明顯的改進 Pareto 前沿。與基線模型相比，AdaCoT 模型在不同的懲罰系數設置下，實現了性能和 CoT 成本之間的有效權衡。

例如，AdaCoT RL Exp2 模型在 53.3% 的 CoT 觸發率下，達到了 62.8% 的平均得分，接近全 CoT RL 基線模型（100% CoT 觸發率，65.0% 平均得分）的性能。這表明 AdaCoT 模型能夠在大幅降低 CoT 使用成本的同時，保持較高的模型性能。而 AdaCoT RL Exp4 模型在 67.7% 的 CoT 觸發率下，平均得分達到了 64.4%，進一步縮小了與全 CoT RL 基線模型的差距。

通過對比不同模型的性能表現，我們可以更深入地理解 AdaCoT 模型在不同 CoT 觸發率下的性能變化趨勢。例如，隨著 CoT 觸發率的增加，模型的平均得分逐漸提高，但提高的幅度逐漸減小。這表明在一定范圍內，增加 CoT 的使用能夠顯著提升模型性能，但超過某一閾值后，繼續增加 CoT 使用帶來的性能提升有限。同時，與基線模型相比，AdaCoT 模型在大多數情況下都能以更低的 CoT 觸發率實現相近甚至更高的性能，充分展示了其在性能和成本之間權衡的優勢。

平均分數與15個廣泛采用的基準測試中的CoT觸發率對比

在此過程中繪制的模型性能與 CoT 觸發率關系圖如上圖所示，不同模型在圖中的位置直觀地體現了它們在性能和成本之間的平衡狀態。藍色點代表基線模型，綠色點代表 AdaCoT SFT 模型，橙色點代表 AdaCoT RL 模型，橙色虛線和陰影區域展示了相比基線改進的 Pareto 前沿，虛線連接了無 CoT RL 基線和全 CoT RL 基線，描繪了一個更簡單的權衡曲線。這一圖形化展示有助于讀者迅速把握 AdaCoT 框架相較于傳統方法在多目標優化上的優勢，明晰其在不同觸發率下性能的相對位置及改進幅度。

自適應 CoT 觸發性能評估

基于日常使用提示測試集的實驗結果，AdaCoT 模型在不同訓練階段的自適應 CoT 觸發性能得到了全面評估。在 SFT 階段，模型的 CoT 觸發準確性達到了 79.5%，F1 分數為 75.0%，召回率為 61.6%，精確率為 95.9%。這些結果表明，經過 SFT 階段的訓練，模型已經具備了一定的自適應 CoT 觸發能力，能夠在大多數情況下正確判斷是否需要啟動 CoT 推理過程。

在 RL-Math 階段，未應用 SLM 技術時，模型的性能出現了顯著的退化。其 CoT 觸發準確性僅為 50.6%，F1 分數為 66.9%，召回率為 1.0，精確率為 0.503。這表明模型在這一階段幾乎總是啟動 CoT 推理過程，導致了大量的誤觸發。然而，當應用 SLM 技術后，模型的性能得到了顯著提升。CoT 觸發準確性提高到了 81.3%，F1 分數為 78.1%，召回率為 0.670，精確率為 0.938。這一結果充分證明了 SLM 技術在穩定模型自適應觸發能力方面的重要作用。

在 RL-General 階段，通過調整懲罰系數 α1 和 α2，模型的決策邊界得到了進一步優化。例如，AdaCoT RL Model Exp2 在這一階段的 CoT 觸發準確性達到了 81.6%，F1 分數為 81.4%，召回率為 0.804，精確率為 0.823。這些結果表明，經過 RL-General 階段的訓練，模型能夠在更廣泛的查詢類型上實現精確的 CoT 推理觸發決策。

不同AdaCoT階段和配置在1000個日常使用提示測試集上的CoT觸發表現（正類：需要CoT）。RL-Math是數學專項強化學習階段；RL-General指的是最終模型

上表展示了不同 AdaCoT 階段和配置在 1000 個日常使用提示測試集上的 CoT 觸發性能，其中陽性類別表示需要 CoT。從表中可以看出，隨著訓練的推進和 SLM 技術的應用，模型的性能指標呈現出逐步提升的趨勢，尤其在 RL-General 階段，各模型的準確率、F1 分數等關鍵指標均達到了較高水平，直觀地反映了模型自適應 CoT 觸發能力的不斷增強過程，為讀者提供了詳細的性能對比數據，有助于深入理解 AdaCoT 框架在不同訓練階段的優化效果及最終的性能表現。

元推理策略在 SFT 階段的應用也取得了顯著的效果。通過在 SFT 階段引入元推理機制，模型的 F1 分數從 0.750 提高到了 0.840。這一提升表明，元推理策略能夠增強模型對查詢復雜性的評估能力，從而優化 CoT 推理觸發決策。例如，在面對復雜查詢時，模型能夠更加準確地識別其復雜性，及時啟動 CoT 推理過程；而在面對簡單查詢時，模型則能夠更加自信地直接給出答案，避免不必要的推理開銷。

包含明確元推理（meta-reasoning）以用于因果鏈（Chain of Thought，CoT）決策的示例回答結構

上圖展示了包含顯式元推理的響應結構示例，這種結構使模型能夠先對查詢復雜性進行自我評估，再決定是否進行詳細推理。例如，對于復雜查詢，模型先輸出 “這是一個相對復雜的問題，我需要仔細思考”，隨后展開正式的 CoT 推理；而對于簡單查詢，則直接判斷 “這是一個簡單問題，可以直接作答”，然后給出答案。這種響應結構的可視化呈現，有助于讀者直觀地理解元推理在實際推理決策中的應用方式，清晰地展現了模型如何通過元推理來控制 CoT 的觸發，進一步提升了文章的可讀性和技術細節的透明度。

響應長度減少與效率提升量化分析

在生產流量測試集上的實驗結果進一步展示了 AdaCoT 模型在實際應用場景中的效率提升效果。以移動設備為例，AdaCoT RL Model Exp2 的平均響應token數為 116.70，相較于全 CoT RL 基線模型的 377.18，減少了 69.1%。同時，CoT 觸發率也從 100% 降低到了 3.18%。在 PC 端，AdaCoT RL Model Exp2 的平均響應token數為 405.25，相較于全 CoT RL 基線模型的 1376.31，減少了 70.6%，CoT 觸發率降低到了 12.50%。

在生產流量測試集上，AdaCoT RL模型Exp2與完整CoT RL基線的平均響應token數（標注了減少量）和CoT觸發率對比

上表直觀地呈現了 AdaCoT RL Model Exp2 與全 CoT RL 基線模型在生產流量測試集上的平均響應token數及 CoT 觸發率對比情況。通過具體數據的比較，讀者可以清晰地看到 AdaCoT 模型在實際應用中帶來的顯著效率提升和成本降低效果。這對于關注模型部署和運營成本的讀者來說，提供了有力的數據支持，增強了文章的說服力和實用性。

這種顯著的響應長度減少和 CoT 觸發率降低，直接轉化為計算成本的大幅降低和系統效率的顯著提升。例如，對于一個擁有大量用戶的移動應用來說，采用 AdaCoT 模型后，服務器的計算負載將大幅減輕，響應時間也將顯著縮短。這不僅能夠降低運營成本，還能夠提升用戶體驗，使應用在市場中更具競爭力。

討論與未來工作

設計考量與局限性深度剖析

AdaCoT 框架的設計理念是在模型性能和推理效率之間實現平衡。通過結合原則引導的初始數據標注與基于 RL 的 CoT 決策邊界優化，AdaCoT 能夠根據查詢的復雜程度智能地調整 CoT 推理的觸發策略。這種設計使得 AdaCoT 框架在保證復雜任務高性能的同時，大幅降低了簡單查詢的推理成本，從而在整體上提高了 LLM 的效率和經濟性。

然而，AdaCoT 框架也存在一些局限性。首先，其對不同 LLM 的適配性是一個需要考慮的問題。由于不同 LLM 的架構、參數規模和性能特點存在差異，AdaCoT 框架在應用于不同的 LLM 時，可能需要進行相應的調整和優化。例如，對于一些較小的 LLM，其計算資源有限，可能需要簡化 AdaCoT 的訓練流程，如減少 SFT 和 RL 階段的訓練數據量、降低模型的參數更新頻率等，以適應其有限的計算資源。同時，不同 LLM 的架構差異也會影響 AdaCoT 框架的適配性。例如，基于 Transformer 的 LLM 和基于 RNN 的 LLM 在處理序列數據和生成響應方面存在差異，這可能導致 AdaCoT 框架在不同架構的 LLM 上的表現不同。針對這一問題，可以采用模型架構轉換方法，將 AdaCoT 框架的關鍵組件（如 CoT 觸發決策模塊）適配到不同架構的 LLM 中，或者設計可調整的訓練超參數，使框架能夠根據不同 LLM 的特點進行自適應調整。

其次，AdaCoT 框架目前采用的是二元 CoT 調用機制，即 CoT 推理要么完全啟動，要么完全不啟動。這種簡化方式雖然在一定程度上降低了模型的復雜性，但也限制了對推理深度和風格的精細化控制。在實際應用中，不同的查詢可能需要不同程度的推理深度，而 AdaCoT 框架的二元機制無法滿足這一需求。為了解決這一問題，可以引入多級 CoT 調用閾值，根據查詢的復雜程度動態調整 CoT 推理的深度。例如，對于中等復雜度的查詢，可以啟動部分推理步驟，而不是完全啟動或關閉 CoT 推理。此外，還可以采用基于連續推理深度的調整策略，通過構建一個連續的推理深度控制機制，使模型能夠根據查詢的復雜性連續地調整推理深度。這些改進方法雖然在實現上具有一定的可行性，但也面臨著一些挑戰，如如何確定多級閾值的具體設置，如何設計連續推理深度控制機制以確保模型的穩定性和性能等。

此外，領域泛化也是一個挑戰。不同知識領域的查詢具有不同的特征和推理需求，而 AdaCoT 框架目前在跨領域適應性方面還有待提高。例如，在法律領域和醫學領域的查詢可能需要不同的推理策略和知識背景，AdaCoT 框架需要進一步優化以更好地適應不同領域的查詢特點。為了提高領域泛化能力，可以采用領域自適應算法，如在訓練數據中增加不同領域的樣本比例，設計領域特定的特征提取模塊等，使模型能夠更好地捕捉不同領域的查詢特征和推理需求。同時，還可以引入領域專家知識，通過與領域專家合作，對模型的 CoT 推理觸發策略進行領域特定的優化，從而提升模型在不同領域的適應性。

最后，AdaCoT 框架缺乏對用戶對模型冗長偏好個性化的需求滿足。不同的用戶可能對模型的回答風格和詳細程度有不同的偏好，而 AdaCoT 框架目前無法根據用戶的個性化需求動態調整 CoT 推理的觸發策略。這在一定程度上影響了用戶體驗和模型的適用范圍。為了解決這一問題，可以開發用戶偏好自定義功能，通過收集用戶的反饋信息（如用戶對模型回答的滿意度評價、用戶對回答風格的偏好設置等），構建用戶偏好模型。然后，將用戶偏好模型與 AdaCoT 框架相結合，使模型能夠根據用戶的個性化需求動態調整 CoT 推理的觸發方式和推理深度，從而提升用戶體驗。

詳細基準數據集的分數。“TR”表示推理觸發率（%）

上表列出了各基準數據集上的詳細測試成績，其中 “TR” 表示推理觸發率。這些數據涵蓋了不同領域的測試結果，包括數學、常識問答、專業學科等多個方面，反映了 AdaCoT 模型在各類任務中的性能表現及推理觸發頻率。通過該表格，讀者可以詳細了解模型在各個具體數據集上的得分情況，深入分析其優勢領域和待提升方向，為后續研究提供了豐富的數據基礎和改進參考，有助于全面評估 AdaCoT 框架的實際應用價值和廣泛適用性。

元推理在推理決策中的應用案例分析

元推理策略在推理決策中的應用為 AdaCoT 框架帶來了顯著的優勢。以下是一些具體的實際問答場景案例分析：

案例 1：歷史創意問題

原始問題：“玄武門之變的夜晚，李世民獨自一人會寫些什么？”

模型在接收到這一問題后，首先通過元推理機制快速評估查詢的復雜性。它識別到這是一個涉及歷史背景、人物心理和創意寫作的復雜問題。因此，模型決定啟動 CoT 推理過程，逐步展開對歷史背景的分析、人物心理的揣摩以及可能的寫作內容的構思。最終，模型生成了一段詳細而富有創意的回答，既體現了李世民作為政治家的果斷與謀略，又展現了其作為普通人內心的矛盾與不安。

修改后的問題：“直接作答，無需深入思考：玄武門之變的夜晚，李世民獨自一人會寫些什么？”

在這一問題中，用戶明確要求模型無需進行深入思考。模型通過元推理機制識別到這一指令，判斷查詢的復雜性較低，因此決定不啟動 CoT 推理過程。模型直接根據已有的知識和創意模板，生成了一段簡潔的回答，滿足了用戶對簡短答案的需求。

案例 2：事實性問題

原始問題：“世界上最高的山峰是哪座？”

模型在接收到這一問題后，通過元推理機制迅速判斷這是一個簡單的事實性問題。它直接從知識庫中檢索相關信息，無需啟動 CoT 推理過程，快速生成了準確的答案：“世界上最高的山峰是珠穆朗瑪峰，海拔高度為 8848.86 米。”

修改后的問題：“經過仔細思考后回答：世界上最高的山峰是哪座？”

盡管用戶要求經過仔細思考，但模型通過元推理機制識別到這一問題的本質仍然是一個簡單的事實性查詢。為了滿足用戶對思考過程的要求，模型在回答中加入了對不同衡量標準（如海拔高度、從基底到山頂的高度等）的簡要說明，同時強調了在常規地理語境下，珠穆朗瑪峰被公認為世界最高峰。通過這種方式，模型在滿足用戶需求的同時，避免了不必要的復雜推理過程。

保留值性能的實驗驗證與分析

通過系統提示（SPs）控制 AdaCoT 的 CoT 推理觸發行為，研究者們在多個基準數據集上進行了實驗驗證。實驗結果顯示，當明確要求模型始終啟動 CoT 推理時，AdaCoT 模型的平均得分與專門的始終開啟 CoT 模型相當，甚至在某些情況下略有超越。

例如，在 AIME24 數據集上，AdaCoT RL Model Exp3 在始終開啟 CoT 推理的情況下，平均得分為 88.0，超過了全 CoT RL 基線模型的 84.7。在 AIME25 數據集上，AdaCoT RL Model Exp2 的平均得分為 75.7，同樣超過了全 CoT RL 基線模型的 70.0。

在“始終推理”系統提示與完整CoT強化學習基線模型下，AdaCoT強化學習模型的表現，展現了峰值性能的保持。這些指標是在15個基準數據集上平均得出的

上表展示了在 “始終推理” 系統提示下 AdaCoT RL 模型相較于全 CoT RL 基線的性能表現，指標為 15 個基準數據集上的平均得分。從表中可以看出，多數模型在此提示下的平均得分接近甚至超過基線模型，有力地證明了 AdaCoT 框架在確保模型峰值推理能力方面的有效性，即使在自適應觸發模式下，也能通過特定系統提示恢復至與始終開啟 CoT 相當的性能水平，為讀者提供了明確的數據支持，增強了對 AdaCoT 框架在關鍵場景下性能保障能力的信心。

這些結果表明，AdaCoT 框架在明確要求全面推理時，能夠保留峰值推理能力。這主要得益于 AdaCoT 在訓練過程中采用的多樣化數據和優化策略。通過在訓練數據中包含非 CoT 示例，模型在學習過程中不僅能夠優化 CoT 推理的觸發策略，還能夠提升其對復雜推理任務的處理能力。同時，強化學習的優化機制使得模型能夠在不同的推理需求下，靈活調整其推理策略，從而在保證簡單查詢高效處理的同時，保持對復雜任務的高性能表現。

總結、展望

通過了解 AdaCoT 框架，我認識到 AdaCoT 框架通過將自適應推理觸發機制與強化學習相結合，巧妙地解決了大型語言模型（LLM）在復雜推理任務中面臨的高成本和低效率問題。它不僅在理論上構建了一個多目標優化的解決方案，更在實踐中通過大量實驗驗證了其有效性。

從技術層面來看，AdaCoT 的核心思想是根據查詢的復雜程度智能地決定是否啟動 CoT 推理過程。這種自適應的觸發機制在保證復雜任務高性能的同時，顯著降低了簡單查詢的推理成本。通過 Pareto 優化理論和強化學習方法的結合，AdaCoT 框架能夠在模型性能和 CoT 使用成本之間實現最佳平衡。實驗結果表明，AdaCoT 模型在多個基準數據集上的性能表現優異，同時大幅減少了 CoT 的使用頻率，降低了計算成本。

在了解這個AdaCoT 框架的過程中，它具有一些亮點特性。它將模型性能和 CoT 使用成本這兩個相互競爭的目標整合到一個多目標優化框架中，并利用強化學習動態調整決策邊界。這種設計不僅展現了研究者對問題的深刻洞察，也體現了他們在技術創新上的能力。此外，Selective Loss Masking（SLM）技術的引入，有效解決了決策邊界崩潰的問題，進一步增強了模型的穩定性和性能。

通過對實驗數據和圖表的觀察，我直觀地感受到了 AdaCoT 框架的優勢。例如，在 Pareto 前沿分析中，AdaCoT 模型在不同 CoT 觸發率下的性能表現明顯優于基線模型，展示了其在性能和成本之間權衡的有效性。同時，響應長度減少與效率提升的量化分析也讓我看到了 AdaCoT 框架在實際應用中的巨大潛力。它不僅降低了計算成本，還顯著縮短了響應時間，提升了用戶體驗。

當然，AdaCoT 框架也存在一些局限性。如何提高其對不同 LLM 的適配性、探索更精細的 CoT 調用機制、加強領域泛化能力以及滿足用戶個性化需求，這些都是需要解決的問題。例如，引入多級 CoT 調用閾值、采用領域自適應算法、開發用戶偏好自定義功能等方法，有望進一步提升 AdaCoT 框架的性能和適用性。

總體來看，AdaCoT 框架的研究讓我在技術層面和研究方法上都受益匪淺。關于自適應思考的文章，之前已發了兩篇，大家可以選擇對比著來看。它們分別是《AdaptThink：推理模型的自適應思考范式》和《Thinkless框架：讓LLM學會“聰明偷懶”的智慧》。各位，看過此文有什么感想？如有其他想法可以在評論區留言，我們聊聊。或者加入“覺察流”社區群，與群里的小伙伴一起學習、交流。加入方法，私信回復“入群”“加群”即可。

參考資料

• AdaCoT: Pareto-Optimal Adaptive Chain-of-Thought Triggering via Reinforcement Learninghttps://arxiv.org/pdf/2505.11896