推理模型常常表現出類似自我反思的行為，但問題是——

這些行為是否真的能有效探索新策略呢？

對此，西北大學與Google、谷歌DeepMind團隊質疑了傳統(tǒng)強化學習與反思的關系，并提出了貝葉斯自適應的強化學習方法，首次解釋了為什么、如何、以及何時應該反思并探索新策略。

圖片

通過對比分別使用傳統(tǒng)強化學習和新方法訓練的模型，研究人員發(fā)現：

在完成“模型需要在3步內輸出三個連續(xù)相同字符”這一合成任務中，傳統(tǒng)RL往往一條路走到黑，而新方法懂得排除無效假設，適時切換新策略。

并且在數學推理任務中，新方法在大部分基準和模型上都取得了更高的準確率，同時為解出題目所耗費的token數量更少。

更有意思的是，團隊發(fā)現反思次數并非決定性能的唯一因素，一些基礎模型往往出現很多徒勞的反思，并沒有帶來實質的信息增益。

下面詳細展開。

貝葉斯自適應強化學習激發(fā)反思性探索

直觀來說，測試時試錯的步驟只有當能帶來信息增益的情況下才有益，然而人們并沒有在RL訓練中告訴模型試錯和反思帶來的信息增益。

事實上，現有的基于馬爾可夫假設的強化學習范式存在天然的局限——探索（exploration）僅發(fā)生在訓練階段，代理在部署（測試）時通常只會利用（exploit）訓練中學到的確定性策略。

并且馬爾可夫假設使得RL代理只根據當前狀態(tài)做決策，歷史信息（比如試錯并回朔的思考過程）對策略的影響都被只壓縮到當前狀態(tài)表示中。

研究者指出，這種傳統(tǒng)范式可能導致模型通過記憶訓練解答就已經拿到高分，而不需要真正學會反思；模型內部思考的試錯也并不能提供信息增益。

那測試時的反思性探索真的有用嗎？如何才能學到有效的反思性探索策略呢？

為了回答上述問題，研究者研究了與傳統(tǒng)RL不同的貝葉斯自適應RL框架，簡稱BARL。

它的核心思想是將LLM的反思性探索轉化為貝葉斯自適應強化學習問題來處理，通過引入對環(huán)境不確定性的建模，讓模型在推理過程中自適應地進行探索。

簡單來說，BARL不再局限于傳統(tǒng)RL的馬爾可夫假設，而是考慮了MDP的不確定性（比如不同策略對一道題的有效性），于是需要把所有歷史的觀察（包括獎勵反饋）納入決策中。

這種框架天然地平衡了獎勵最大化的利用和信息獲取的探索。

具體而言，在BARL中，團隊假設模型面對的是一個存在未知要素的任務，可以用一組假設的MDP（馬爾可夫決策過程）來描述這些不確定性。

模型對每個假設MDP保持一個后驗概率（belief），隨著推理過程不斷更新。

每當模型選擇一個動作（如生成下一個思維步驟），都會根據觀察到的結果更新對各個假設的信念。

BARL的目標策略并非針對單一確定環(huán)境優(yōu)化，而是直接優(yōu)化在后驗分布下的期望累積回報。這意味著模型在決策時，會考慮“我這樣做的收益是多少，同時這樣的行動能多大程度減少不確定性？”。

BARL明確地將測試時的表現納入優(yōu)化目標，通過最大化后驗下的期望回報鼓勵模型考慮未知情況。

模型明白只有主動探索才能在未知情境下保持高收益，因此反思是為了獲取關鍵信息，避免一條路走錯到底。

簡而言之，BARL讓模型意識到——

適時反思、多一種嘗試可能帶來更高的回報，這正是反思行為得以涌現的動機。

全新推理模型強化學習算法

研究者針對推理模型給出了BARL決策的數學形式，其中核心是如何計算后驗的期望值：

該公式針對多個候選答案（比如best-of-N里的N個答案）計算了預期回報加權求和，權重一方面是模型認為該候選答案的好壞，另一方面還包含了一個“校正項”——用來衡量實際觀察結果與模型預期的偏差。

正是這個校正項充當了反思信號：如果某個策略原本被模型高度看好，但獎勵反饋結果不盡如人意，那這個差異會迅速降低該假設的權重，提醒模型“也許該換一種思路了”，這正回答了模型應該何時進行反思和探索。

通過這種機制，BARL的決策公式指導模型在每個步驟判斷是否需要反思、何時切換策略。

這也是BARL反思性決策的精髓——讓模型基于貝葉斯后驗來權衡“繼續(xù)當前思路”還是“嘗試新思路”。

這種更新過程鼓勵模型拼接和切換不同的推理策略，就像把多條可能的解題思路串聯(lián)起來，并在中途發(fā)現某條思路行不通時迅速切換到另一條。

BARL通過端到端的RL優(yōu)化自動實現了這一點，可謂以原則化的方式賦予了LLM在推理過程中的“何時反思、如何反思”的指南，達到了以一條長CoT線性化best-of-N的效果。

合成任務案例：更清楚的對比RL和BARL

為了直觀展示BARL如何在測試時展現反思探索能力，作者設計了一個合成任務：模型需要在3步內輸出三個連續(xù)相同的字符（0/1/2），才能獲得獎勵。

訓練階段，提示（prompt）字符只會是0或1，模型學會了對應輸出000或111來拿到獎勵；但是測試時，提示字符變?yōu)榱?。

直覺上，訓練時學到的確定性策略在遇到新字符時將不再有效，需要模型即時探索正確的輸出模式。

讓兩個模型來挑戰(zhàn)這個任務：一個用傳統(tǒng)馬爾可夫RL訓練，另一個用BARL方法訓練。

Markovian RL很快就最大化了訓練準確率，幾乎將這些答案背了下來。

BARL在訓練中同樣學會了正確輸出模式，但更有趣的是，它同時學會了根據不確定性來調整策略——這一點要等到測試才能看出差別。

測試階段揭示了截然不同的行為。即當提示變?yōu)樾伦址?時，Markovian RL由于在訓練中只記住了固定的輸出（000/111）無法泛化，因此幾乎總是答錯，測試準確率接近于零。

而BARL代理則展現出“反思”能力。它會先嘗試某個策略，如果初步嘗試未獲得獎勵，就迅速反思切換，嘗試另一種可能的序列。

下圖形象說明了Markov RL和BARL在該合成任務中的決策差異——

Markov策略一條路走到黑，BARL策略則懂得排除無效假設，適時切換新策略。

可以看到，左圖中馬爾可夫RL模型訓練時成績很快逼近100%但測試時幾乎完全失敗，中圖的BARL模型則不僅訓練表現提升，在測試時也取得了顯著的高準確率。

值得注意的是，右圖顯示如果事先給予BARL一些關于任務結構的先驗知識（例如“獎勵模式就是某個字符重復三次”），它的收斂速度和最終成績還會更好。

這說明了候選策略既要有多樣性以覆蓋未知情況，又要有合理的可信度以不至于無謂浪費精力。

數學推理任務：性能全面提升，顯著節(jié)省Token

研究人員還將BARL應用于LLM的數學推理領域，并比對了GRPO和“Progress”獎勵基線（給予正確答案概率的分步獎勵）。

BARL在大部分基準和模型上都取得了更高的準確率。

不僅如此，BARL還展現出更高的的效率優(yōu)勢。

作者特別度量了每種方法為解出題目所耗費的token數量，結果發(fā)現在達到同等甚至更高準確率的情況下，BARL生成的內容要短得多。

這意味著，BARL模型并不會為了“多反思幾次”而付出冗長啰嗦的代價，反而因為每次反思都更有針對性、更有效。

作者還觀察到另一個有趣的現象：反思次數本身并非決定性能的唯一因素。

基礎模型往往出現很多徒勞的反思，并沒有帶來實質的信息增益。相比之下，BARL的反思行為更加“有目的性”。

研究者計算了模型在每一步產生的思維鏈的貝葉斯價值，簡單理解就是綜合考慮了“這一步對最終求解有多大貢獻”和“這一步帶來了多少信息增益”的一個評分。

結果發(fā)現，BARL模型每一步動作的貝葉斯價值始終顯著高于傳統(tǒng)RL模型，說明它選的步驟要么就是對解題有幫助的（高回報），要么就是探查了新的可能路徑（高信息增益），從不盲目浪費步驟。

而反觀基礎模型，盡管某些時候看似也輸出了很多自我檢查的內容，但由于沒有有效利用信息更新，它這些“反思”步驟的價值評估很低，往往流于表面形式。

最后，作者專門訓練了一個長度受限的GRPO，人為限制它最多只能輸出32個token的解題過程，強制模型傾向于不展開推理，直接給出最終答案。

可以發(fā)現模型的訓練準確率最終能收斂到跟正常GRPO相似，而生成的過程長度卻越來越短，幾乎退化為直接背答案。

換言之，馬爾可夫型RL在訓練時確實可能通過犧牲思考過程而達到最優(yōu)，但這樣的策略一旦在測試遇到新題就會碰壁。這更加驗證了傳統(tǒng)RL并不能解釋反思探索的好處，也不能包裝自我反思的涌現。

最后，研究人員已經放出了訓練代碼和論文。

本文一作張申傲是美國西北大學二年級博士生，研究方向涵蓋大語言模型與強化學習，尤其關注LLM的對齊，推理，以及智能體。其研究旨在構建能夠主動獲取信息并自我提升以實現超越人類水平的智能系統(tǒng)。

訓練代碼：
https://github.com/shenao-zhang/BARL
論文：https://arxiv.org/abs/2505.20561