AutoRefine：RL加持RAG，邊想邊搜并精煉，革新LLM推理
大家好，我是肆〇柒。有好一陣沒有發(fā) RAG 方面的論文研讀了，不是因?yàn)椴幌氚l(fā)，是因?yàn)闆]看到有新鮮感的研究。剛好，這兩天看到一篇說是 RAG 但又包含 RL 的論文。這是一篇由中國科學(xué)技術(shù)大學(xué)和新加坡國立大學(xué)的研究人員共同完成的論文——《Search and Refine During Think: Autonomous Retrieval-Augmented Reasoning of LLMs》。這篇論文在檢索增強(qiáng)型推理領(lǐng)域提出了一些新的解法，并且開源了AutoRefine框架，為我們展示了大型語言模型（LLM）如何通過強(qiáng)化學(xué)習(xí)（RL）不斷提升其推理能力，同時解決了傳統(tǒng)方法在知識更新和推理能力上的關(guān)鍵局限性。下面，我們一起來扒一扒這篇論文。
在當(dāng)下，LLM 在語言理解、規(guī)劃和問題解決等方面的表現(xiàn)讓人們見證了技術(shù)的巨大進(jìn)步。從早期的語言模型到如今像 GPT 系列、LLaMA 等模型，它們能夠生成流暢自然的文本、理解和回答各種復(fù)雜問題，甚至在一定程度上模擬人類的寫作風(fēng)格。強(qiáng)化學(xué)習(xí)（RL）的引入更是進(jìn)一步提升了 LLM 的推理能力，尤其是在數(shù)學(xué)問題求解、編程代碼生成等復(fù)雜任務(wù)中，模型能夠通過與環(huán)境的交互學(xué)習(xí)到更優(yōu)的策略，從而生成更準(zhǔn)確、更有邏輯性的答案。
但，盡管 LLM 取得了如此輝煌的成就，它的局限性也很明顯。一個顯而易見的問題是，LLM 的知識儲備完全依賴于其訓(xùn)練語料，這使得它們在面對需要最新信息的任務(wù)時顯得力不從心。例如，當(dāng)涉及到實(shí)時事件、最新科研成果或特定領(lǐng)域最新動態(tài)的問題時，LLM 往往無法提供準(zhǔn)確且具有時效性的回答。這就迫切需要一種方法能夠讓 LLM 超越其固有的知識邊界，獲取并利用最新的外部信息來增強(qiáng)其推理和回答能力。
檢索增強(qiáng)型推理（RAG，Retrieval-Augmented Generation），這種方法，是我們落地 AI 應(yīng)用的時候，最常見的產(chǎn)品形態(tài)。RAG 通過為 LLM 配備檢索工具，使其能夠在回答問題的過程中訪問外部知識庫，從而獲取最新的、與問題相關(guān)的知識和信息。這樣一來，LLM 就不再局限于自身的訓(xùn)練數(shù)據(jù)，而是能夠結(jié)合外部資源，生成更全面、更準(zhǔn)確的答案。
研究現(xiàn)狀與問題
雖然 RAG 方法在理論上為 LLM 的知識更新和推理能力提升提供了可能，但現(xiàn)有的 RAG 方法為了提升召回率，提升推理精度等，會依賴于監(jiān)督微調(diào)（SFT，Supervised Fine-Tuning）來訓(xùn)練 LLM 生成搜索查詢并基于檢索到的文檔作答。可是呢，SFT 方法存在明顯的局限性。它通常只能在訓(xùn)練數(shù)據(jù)所覆蓋的范圍內(nèi)對模型進(jìn)行優(yōu)化，導(dǎo)致模型在面對非訓(xùn)練分布場景時，泛化檢索行為的能力嚴(yán)重不足。換句話說，當(dāng)遇到與訓(xùn)練數(shù)據(jù)不同的新類型問題或知識領(lǐng)域時，模型往往無法生成有效的搜索查詢，也就難以獲取到有用的外部信息。
那么，是不是強(qiáng)化學(xué)習(xí)（RL）就一定能解決問題？其實(shí)，現(xiàn)有的一些基于 RL的檢索增強(qiáng)推理方法也存在兩個核心問題。首先，這些方法沒有對檢索到的文檔進(jìn)行有效的提煉和加工，而是直接將整個文檔作為后續(xù)推理和答案生成的依據(jù)。這就好比讓一個人在海量的書籍中尋找特定的答案，卻沒有給他任何整理和篩選信息的工具或方法，最終很可能導(dǎo)致關(guān)鍵信息被淹沒在大量無關(guān)或次要的內(nèi)容中，模型也難以準(zhǔn)確識別知識缺口、在不完整的證據(jù)基礎(chǔ)上進(jìn)行有效推理，更無法對檢索過程進(jìn)行迭代改進(jìn)。
再一點(diǎn)，這些方法對檢索特定獎勵的探索嚴(yán)重不足。它們通常只依賴于最終答案正確性的結(jié)果獎勵，而忽略了檢索過程本身的質(zhì)量評估和優(yōu)化。這就好像只關(guān)注考試成績，而不關(guān)心學(xué)習(xí)過程中的方法是否正確、效率是否高效一樣。缺乏對檢索過程的直接指導(dǎo)，使得模型很難學(xué)會如何生成更相關(guān)、更有信息量的檢索查詢，從而限制了檢索增強(qiáng)推理的整體性能提升。
針對現(xiàn)有 RAG 方法以及基于 RL 的檢索增強(qiáng)推理方法存在的問題，本文將重點(diǎn)介紹 AutoRefine，這是一個采用新型 “檢索 - 提煉 - 思考”（Search - Refine - During - Think）范式的強(qiáng)化學(xué)習(xí)Post train 框架。AutoRefine 的目標(biāo)是克服傳統(tǒng)方法的局限性，通過引入明確的知識提煉步驟和定制化的檢索特定獎勵，使 LLM 能夠更精準(zhǔn)地檢索外部知識、更高效地提煉關(guān)鍵信息，并最終生成更高質(zhì)量的答案。
AutoRefine：RAG 推理的創(chuàng)新方案
概念闡述：“檢索 - 提煉 - 思考” 范式與雙重獎勵機(jī)制
AutoRefine 的核心創(chuàng)新之處在于其獨(dú)特的 “檢索 - 提煉 - 思考” 范式。與傳統(tǒng)的 “在思考中檢索”（Search - During - Think）方法不同，AutoRefine 在連續(xù)的搜索調(diào)用之間加入了明確的知識提煉步驟。這一過程可以形象地理解為：當(dāng)模型面對一個問題時，它不是簡單地檢索一次就立刻生成答案，而是先進(jìn)行初步的檢索，然后仔細(xì)閱讀和提煉檢索到的文檔，篩選出真正有用的信息，再基于這些提煉后的關(guān)鍵信息進(jìn)行進(jìn)一步的思考和推理，必要時再次發(fā)起新的檢索查詢，直到獲取足夠的證據(jù)來支撐最終的答案生成。
這種范式的轉(zhuǎn)變帶來了巨大的優(yōu)勢。通過迭代地過濾、提煉和組織證據(jù)，模型能夠逐步聚焦于與問題高度相關(guān)的核心內(nèi)容，去除無關(guān)的噪聲信息。這就如同在沙子中淘金，只有經(jīng)過多次的篩選和提煉，才能最終得到純度高的金子。在知識提煉步驟中，模型會對檢索到的文檔進(jìn)行深加工，識別出其中的關(guān)鍵語句、重要概念和直接證據(jù)，并將這些信息進(jìn)行整合和重組，使其更易于后續(xù)的推理和答案生成。這樣一來，即使檢索到的文檔內(nèi)容較為寬泛或包含大量無關(guān)信息，模型也能夠從中挖掘出有價值的線索，從而提高答案的準(zhǔn)確性和可靠性。
同時，AutoRefine 的獎勵機(jī)制也是其取得成功的關(guān)鍵因素之一。它不僅考慮了最終答案的正確性（即結(jié)果獎勵，Outcome - Based Reward），還特別引入了檢索特定獎勵（Retrieval - Specific Reward）。結(jié)果獎勵通過計(jì)算模型生成的答案與真實(shí)答案之間的 F1 分?jǐn)?shù)來衡量答案的準(zhǔn)確性和完整性。而檢索特定獎勵則關(guān)注于模型在知識提煉過程中是否成功提取出了包含真實(shí)答案所有關(guān)鍵組成部分的信息。如果提煉出的內(nèi)容涵蓋了答案所需的核心要素，那么模型將獲得較高的檢索特定獎勵。這種雙重獎勵機(jī)制如同給模型提供了兩個方向的導(dǎo)航儀，一方面引導(dǎo)它朝著生成正確答案的方向前進(jìn)，另一方面激勵它在檢索和提煉過程中盡可能地獲取精準(zhǔn)、全面的信息。通過聯(lián)合優(yōu)化這兩個目標(biāo)，模型能夠在推理過程中更加關(guān)注細(xì)粒度知識的提取、組織和利用，從而實(shí)現(xiàn)更高效、更精準(zhǔn)的檢索增強(qiáng)型推理。
對比以往的檢索增強(qiáng)型推理方法與AutoRefine。（a）以往的方法遵循“思考時檢索”的范式，可能會因無關(guān)或噪聲信息而導(dǎo)致答案錯誤。AutoRefine引入“思考時檢索并精煉”的范式，以鼓勵在生成答案之前識別關(guān)鍵信息。（b）以往的方法僅以結(jié)果為導(dǎo)向來優(yōu)化模型，而AutoRefine引入額外的檢索特定獎勵，以明確指導(dǎo)文檔檢索和利用
方法細(xì)節(jié)：軌跡生成、獎勵建模與訓(xùn)練目標(biāo)
軌跡生成與搜索提煉
在 AutoRefine 的框架下，任務(wù)形式化過程是這樣的：給定一個包含問答對的數(shù)據(jù)集 D 以及一個外部搜索引擎 E，模型需要生成推理軌跡 o，該軌跡由多個中間推理步驟 τ 組成。每個中間推理步驟 τ 包括一個動作 st（如思考、搜索、文檔檢索、提煉或回答）以及與其相關(guān)聯(lián)的內(nèi)容 ct。模型通過不斷地與搜索引擎 E 交互，執(zhí)行思考、搜索、整合文檔和提煉等操作，直到最終生成能夠正確回答問題 q 的答案 oans。
比如，actor 模型 πθ 會生成包含多個內(nèi)部推理周期的軌跡。每個周期都有序地執(zhí)行以下操作：在 “思考” 步驟中，模型對當(dāng)前已有的信息和下一步的行動進(jìn)行整體規(guī)劃，確定是否需要進(jìn)一步檢索以及檢索的大致方向；接著在 “搜索” 步驟中，模型根據(jù)思考的結(jié)果向外部搜索引擎發(fā)出查詢請求；搜索引擎返回相關(guān)文檔后，模型進(jìn)入 “文檔整合” 步驟，將檢索到的文檔內(nèi)容納入當(dāng)前的推理上下文中；隨后在 “提煉” 步驟中，模型對文檔內(nèi)容進(jìn)行深度加工，提取關(guān)鍵信息并去除無關(guān)內(nèi)容；最后，當(dāng)模型認(rèn)為已經(jīng)收集到足夠的證據(jù)時，它將進(jìn)入 “回答” 步驟，生成最終的答案。
整個軌跡生成過程是動態(tài)且自主的，模型根據(jù)問題的難度和復(fù)雜性決定內(nèi)部推理周期的數(shù)量。例如，對于相對簡單的問題，可能只需一個或兩個推理周期即可得到答案；而對于復(fù)雜的多跳推理問題，則可能需要多個周期的迭代搜索和提煉。停止準(zhǔn)則非常明確，當(dāng)模型執(zhí)行了 “回答” 動作時，生成過程終止，此時提取終端狀態(tài) τT 的內(nèi)容 cT 作為最終答案 oans。
AutoRefine的訓(xùn)練方案。（右）actor模型為給定問題生成多種推理軌跡，包括思考、搜索、細(xì)化和回答。（左）這些軌跡使用方程（4）中描述的GRPO 算法進(jìn)行優(yōu)化，其中對檢索到的文檔的損失進(jìn)行了屏蔽。在這個例子中，取G=4
GRPO 算法的具體實(shí)現(xiàn)：
AutoRefine 采用組相對策略優(yōu)化（GRPO，Group Relative Policy Optimization）算法來優(yōu)化模型的策略。GRPO 算法的核心思想是通過采樣一組軌跡，計(jì)算每個軌跡的優(yōu)勢估計(jì)，然后根據(jù)優(yōu)勢估計(jì)更新actor模型 πθ 的策略，以最大化策略的長期回報。
給定actor模型 πθ 和參考模型 πref，首先從模型中采樣一組 G 個軌跡。然后，對于每個軌跡中的每個時間步 t，計(jì)算其優(yōu)勢估計(jì) ?Ai,t，該優(yōu)勢估計(jì)反映了在該時間步采取特定行動相比于平均水平所能獲得的額外回報。優(yōu)勢估計(jì)是通過將當(dāng)前的獎勵 ri,t 減去該組軌跡在該時間步的平均獎勵，再進(jìn)行歸一化處理得到的。接著，利用這些優(yōu)勢估計(jì)來更新actor模型的策略，更新過程采用了裁剪（clip）操作，以確保策略的更新不會過于劇烈，從而保證訓(xùn)練過程的穩(wěn)定性。
在采樣策略方面，GRPO 算法采用了一種高效的采樣方法，能夠在有限的計(jì)算資源下獲取具有代表性的軌跡樣本。具體而言，算法會根據(jù)當(dāng)前模型的策略分布，選取一組多樣化的軌跡，這些軌跡涵蓋了不同的問題類型、檢索深度和推理路徑，從而確保了訓(xùn)練數(shù)據(jù)的豐富性和全面性。通過這種方式，模型能夠在訓(xùn)練過程中接觸到各種可能的場景，從而增強(qiáng)其泛化能力和適應(yīng)性。
在優(yōu)勢估計(jì)的計(jì)算方法上，GRPO 算法通過比較每個時間步的獎勵與組內(nèi)其他軌跡的平均獎勵，來確定該時間步行動的價值。具體公式如下：
其中， 表示第 i 個軌跡在時間步 t 的獎勵值， 和 分別表示組內(nèi)所有軌跡在時間步 t 的獎勵均值和標(biāo)準(zhǔn)差。通過這種方式，優(yōu)勢估計(jì)能夠反映每個行動相對于組內(nèi)平均水平的優(yōu)劣程度，從而為策略更新提供更準(zhǔn)確的指導(dǎo)。
在策略更新的具體步驟中，GRPO 算法采用了裁剪機(jī)制，防止策略更新幅度過大而導(dǎo)致訓(xùn)練過程不穩(wěn)定。具體而言，更新公式如下：
其中， 表示舊策略， 表示更新后的策略， 是裁剪參數(shù)，通常設(shè)置為 0.1 到 0.3 之間。這種裁剪機(jī)制確保了策略更新在合理范圍內(nèi)，避免了因更新幅度過大而導(dǎo)致的訓(xùn)練發(fā)散問題。
檢索特定獎勵的計(jì)算方法：
檢索特定獎勵（RRet）的計(jì)算方法如下：
1. 關(guān)鍵信息的定義：在知識提煉步驟中，模型會生成一段提煉后的內(nèi)容，該內(nèi)容包含了模型認(rèn)為與問題相關(guān)的最關(guān)鍵信息。關(guān)鍵信息的定義基于問題的類型和需求，例如在回答人物關(guān)系問題時，關(guān)鍵信息可能包括人物名稱、關(guān)系類型等；在回答歷史事件問題時，關(guān)鍵信息可能包括事件時間、地點(diǎn)、主要人物和結(jié)果等。
2. 獎勵值的計(jì)算：將所有知識提煉步驟的內(nèi)容進(jìn)行拼接，形成一個完整的提煉文本。然后，檢查該文本是否包含真實(shí)答案的所有關(guān)鍵組成部分。如果提煉文本涵蓋了答案所需的所有核心要素，則 RRet = 1；否則，RRet = 0。具體實(shí)現(xiàn)中，通過將提煉文本與真實(shí)答案進(jìn)行文本匹配和語義分析來確定是否包含所有關(guān)鍵組成部分。例如，可以使用關(guān)鍵詞匹配、語義相似度計(jì)算等方法來評估提煉文本與真實(shí)答案的相關(guān)性。
3. 優(yōu)化過程：在訓(xùn)練過程中，模型會根據(jù) RRet 的值來調(diào)整其提煉策略。如果 RRet 較高，說明模型的提煉步驟能夠有效提取關(guān)鍵信息，模型會強(qiáng)化這一行為；反之，如果 RRet 較低，模型會嘗試調(diào)整提煉方法，例如改變提煉的粒度、關(guān)注不同的內(nèi)容類型等，以提高提煉質(zhì)量。
獎勵建模
結(jié)果獎勵（RAns）的計(jì)算基于模型最終生成的答案與真實(shí)答案之間的對比。具體而言，將預(yù)測答案 oans 和真實(shí)答案 a 都視為單詞集合，然后計(jì)算這兩個集合之間的 F1 分?jǐn)?shù)。F1 分?jǐn)?shù)綜合考慮了答案的精確匹配程度和召回情況，能夠較為全面地反映答案的質(zhì)量。例如，如果真實(shí)答案是 “牛頓是經(jīng)典力學(xué)的奠基人”，而模型生成的答案是 “牛頓是經(jīng)典力學(xué)的創(chuàng)始人”，那么通過計(jì)算兩個答案的單詞交集、并集等信息，可以得到一個介于 0 到 1 之間的 F1 分?jǐn)?shù)，這個分?jǐn)?shù)越高，說明答案越接近真實(shí)情況。
檢索特定獎勵（RRet）則側(cè)重于評估知識提煉步驟的質(zhì)量。它通過檢查在 “提煉” 步驟中生成的內(nèi)容是否包含真實(shí)答案的所有關(guān)鍵組成部分來確定獎勵值。具體操作是將所有知識提煉步驟的內(nèi)容進(jìn)行拼接，如果拼接后的文本包含了構(gòu)成真實(shí)答案的所有必要元素，那么 RRet 就為 1，否則為 0。這一獎勵機(jī)制直接鼓勵模型在提煉過程中盡可能完整且準(zhǔn)確地提取出與答案直接相關(guān)的信息。
在訓(xùn)練過程中，這兩種獎勵相互配合，共同引導(dǎo)模型優(yōu)化其行為。例如，當(dāng)模型生成的答案正確時，它將獲得較高的結(jié)果獎勵；同時，如果在提煉過程中也成功提取了關(guān)鍵信息，那么它還能額外獲得檢索特定獎勵。這種雙重獎勵機(jī)制使得模型在學(xué)習(xí)過程中不僅關(guān)注最終答案的質(zhì)量，還注重檢索和提煉過程的有效性，從而全面提升其檢索增強(qiáng)型推理能力。
訓(xùn)練目標(biāo)與算法
AutoRefine 采用組相對策略優(yōu)化（GRPO，Group Relative Policy Optimization）算法來優(yōu)化模型的策略。GRPO 算法的核心思想是通過采樣一組軌跡，計(jì)算每個軌跡的優(yōu)勢估計(jì)，然后根據(jù)優(yōu)勢估計(jì)更新actor模型 πθ 的策略，以最大化策略的長期回報。
給定actor模型 πθ 和參考模型 πref，首先從模型中采樣一組 G 個軌跡。然后，對于每個軌跡中的每個時間步 t，計(jì)算其優(yōu)勢估計(jì) ?Ai,t，該優(yōu)勢估計(jì)反映了在該時間步采取特定行動相比于平均水平所能獲得的額外回報。優(yōu)勢估計(jì)是通過將當(dāng)前的獎勵 ri,t 減去該組軌跡在該時間步的平均獎勵，再進(jìn)行歸一化處理得到的。接著，利用這些優(yōu)勢估計(jì)來更新actor模型的策略，更新過程采用了裁剪（clip）操作，以確保策略的更新不會過于劇烈，從而保證訓(xùn)練過程的穩(wěn)定性。
在損失計(jì)算過程中，為了防止檢索到的文檔對訓(xùn)練過程產(chǎn)生干擾，AutoRefine 特別設(shè)計(jì)了屏蔽機(jī)制。在計(jì)算損失時，將檢索到的文檔部分從輸入中移除，使得模型的訓(xùn)練更加專注于其自身生成的內(nèi)容和行動的優(yōu)化，而不是簡單地依賴于檢索文檔中的信息。這種屏蔽機(jī)制有助于提高模型的泛化能力和自主推理能力，使其在實(shí)際應(yīng)用中能夠更好地適應(yīng)不同的檢索環(huán)境和文檔質(zhì)量。
與其他方法對比：Why AutoRefine ？
與傳統(tǒng) RAG 方法對比
傳統(tǒng) RAG 方法嚴(yán)重依賴于監(jiān)督微調(diào)（SFT）。雖然 SFT 能夠在一定程度上優(yōu)化模型的檢索和生成能力，但其局限性非常明顯。由于 SFT 主要基于訓(xùn)練數(shù)據(jù)進(jìn)行優(yōu)化，當(dāng)模型面對非訓(xùn)練分布場景時，其泛化檢索行為的能力極為有限。例如，在訓(xùn)練數(shù)據(jù)中，模型可能學(xué)會了針對特定類型問題的檢索模式，但當(dāng)遇到新的、未見過的問題類型時，它往往無法生成有效的檢索查詢，導(dǎo)致檢索到的文檔與問題的相關(guān)性較低，從而影響答案的質(zhì)量。
此外，傳統(tǒng) RAG 方法在檢索到文檔后，直接利用這些文檔生成答案，缺乏中間的知識提煉步驟。這就意味著，模型需要處理大量可能包含無關(guān)或噪聲信息的文檔內(nèi)容，這不僅增加了模型的負(fù)擔(dān)，還可能導(dǎo)致生成的答案偏離正確方向。相比之下，AutoRefine 的 “檢索 - 提煉 - 思考” 范式通過引入知識提煉步驟，使模型能夠?qū)z索到的文檔進(jìn)行深度加工，提取關(guān)鍵信息并去除無關(guān)內(nèi)容。這樣，模型在生成答案時所依據(jù)的信息更加精準(zhǔn)和精煉，從而提高了答案的準(zhǔn)確性和可靠性。
以一個簡單的例子來說，假設(shè)問題是 “列舉牛頓的三大運(yùn)動定律”。傳統(tǒng) RAG 方法可能檢索到一篇包含牛頓生平、成果以及運(yùn)動定律等內(nèi)容的長篇文章，然后直接嘗試從中生成答案。由1于文章內(nèi)容較為寬泛，模型可能在生成答案時遺漏一些關(guān)鍵細(xì)節(jié)，或者受到無關(guān)內(nèi)容的干擾而出現(xiàn)錯誤。而 AutoRefine 則會在檢索到文檔后，先進(jìn)行提煉，提取出與運(yùn)動定律直接相關(guān)的內(nèi)容，如 “慣性定律、加速度定律和作用力與反作用力定律”，然后再基于這些提煉后的信息生成簡潔準(zhǔn)確的答案，從而避免了直接使用完整文檔帶來的問題。
基線方法的具體實(shí)現(xiàn)和優(yōu)化過程：
在實(shí)驗(yàn)中，傳統(tǒng) RAG 方法的基線實(shí)現(xiàn)主要包括以下幾個方面：
1. 訓(xùn)練數(shù)據(jù)的選擇：基線方法使用與 AutoRefine 相同的訓(xùn)練數(shù)據(jù)集，包括 Natural Questions（NQ）和 HotpotQA 的訓(xùn)練集。這些數(shù)據(jù)集提供了豐富的問答對，用于訓(xùn)練模型的檢索和生成能力。
2. 模型參數(shù)的調(diào)整：在 SFT 過程中，模型的學(xué)習(xí)率設(shè)置為 1e-5，訓(xùn)練批次大小為 32，訓(xùn)練步數(shù)為 10000 步。這些參數(shù)經(jīng)過多次實(shí)驗(yàn)驗(yàn)證，能夠在保證訓(xùn)練效率的同時，使模型達(dá)到較好的性能。
3. 檢索引擎的配置：基線方法使用與 AutoRefine 相同的檢索引擎 E5-base-v2，確保檢索過程的一致性和公平性。每次查詢返回的文檔數(shù)量默認(rèn)設(shè)置為 3，與 AutoRefine 的實(shí)驗(yàn)條件保持一致。
通過這些詳細(xì)的實(shí)現(xiàn)和優(yōu)化過程，傳統(tǒng) RAG 方法的基線性能得到了充分的發(fā)揮，從而為 AutoRefine 的性能提升提供了有力的對比基準(zhǔn)。
與其他基于 RL 的檢索增強(qiáng)推理方法對比
其他基于 RL 的檢索增強(qiáng)推理方法通常只依賴于結(jié)果獎勵，即僅根據(jù)最終答案的正確性來優(yōu)化模型。然而，這種方法忽略了檢索過程本身的質(zhì)量評估和優(yōu)化。由于缺乏對檢索過程的直接指導(dǎo)，模型很難學(xué)會如何生成更相關(guān)、更有信息量的檢索查詢，從而限制了檢索增強(qiáng)推理的整體性能提升。
AutoRefine 則結(jié)合了檢索特定獎勵和結(jié)果獎勵，通過定制化的檢索特定獎勵引導(dǎo)模型更有效地進(jìn)行檢索和信息提煉。在訓(xùn)練過程中，當(dāng)模型在知識提煉步驟中成功提取出包含答案關(guān)鍵組成部分的信息時，它將獲得檢索特定獎勵。這一獎勵機(jī)制直接鼓勵模型關(guān)注檢索到的文檔的質(zhì)量和相關(guān)性，促使模型不斷優(yōu)化其檢索策略，生成更精準(zhǔn)的查詢請求，從而提高檢索到的文檔與問題的匹配度。
在多跳推理場景中，AutoRefine 的優(yōu)勢尤為顯著。多跳推理問題需要模型能夠通過多次檢索和推理，逐步收集分散在不同文檔中的信息片段，并最終將這些片段整合成完整的答案。與其他方法相比，AutoRefine 的高質(zhì)量搜索查詢和有效的證據(jù)綜合能力使其在這一類復(fù)雜問題上表現(xiàn)出色。例如，在回答 “誰是《戰(zhàn)爭與和平》作者的祖父？” 這樣需要多跳推理的問題時，AutoRefine 首先會檢索到《戰(zhàn)爭與和平》的作者是列夫·托爾斯泰，然后進(jìn)一步檢索列夫·托爾斯泰的祖父是誰，最終得出正確答案。而其他方法可能由于檢索查詢不夠精準(zhǔn)或無法有效提煉和整合多跳信息，導(dǎo)致無法準(zhǔn)確回答此類問題。
為了更全面地展示 AutoRefine 的優(yōu)勢，對不同檢索深度（k 值）下基線方法的性能變化進(jìn)行了詳細(xì)分析。實(shí)驗(yàn)結(jié)果表明，隨著 k 值的增加，基線方法的性能在大多數(shù)數(shù)據(jù)集上呈現(xiàn)出先上升后趨于平穩(wěn)的趨勢。當(dāng) k = 3 時，性能提升最為顯著，這表明在這一深度下，基線方法能夠在信息豐富度和噪聲之間取得較好的平衡。然而，與 AutoRefine 相比，基線方法在所有 k 值下的性能均低于 AutoRefine，這充分展示了 AutoRefine 在不同檢索深度下的顯著優(yōu)勢，尤其是在處理多跳推理問題時，其性能提升更為明顯。
實(shí)驗(yàn)驗(yàn)證
實(shí)驗(yàn)設(shè)計(jì)：數(shù)據(jù)集、基線方法與實(shí)施細(xì)節(jié)
數(shù)據(jù)集與基線方法
為了全面評估 AutoRefine 的性能，實(shí)驗(yàn)采用了七個問答基準(zhǔn)數(shù)據(jù)集。其中包括三個單跳問答數(shù)據(jù)集：Natural Questions（NQ）、TriviaQA 和 PopQA，以及四個多跳問答數(shù)據(jù)集：HotpotQA、2WikiMultihopQA、Musique 和 Bamboogle。這些數(shù)據(jù)集涵蓋了不同領(lǐng)域和難度級別的問題，能夠充分測試模型在各種場景下的檢索增強(qiáng)推理能力。準(zhǔn)確匹配準(zhǔn)確率（Exact Match Accuracy）被選為所有下游數(shù)據(jù)集的評估指標(biāo)，這是因?yàn)樵撝笜?biāo)能夠直接反映模型生成答案與真實(shí)答案之間的精確匹配程度，是衡量模型性能的重要標(biāo)準(zhǔn)。
與 AutoRefine 對比的基線方法分為三類：
1. 無檢索的生成方法：包括直接生成（Direct Generation）、監(jiān)督微調(diào)（SFT）和 R1 - Instruct 等。這些方法不依賴外部檢索工具，僅基于模型自身的知識儲備生成答案。其中，直接生成是直接使用預(yù)訓(xùn)練的 LLM 進(jìn)行答案生成；SFT 是在預(yù)訓(xùn)練模型的基礎(chǔ)上，利用監(jiān)督學(xué)習(xí)的方式對模型進(jìn)行微調(diào)，使其更好地適應(yīng)特定的問答任務(wù)；R1 - Instruct 是一種經(jīng)過指令微調(diào)的模型，能夠更好地遵循人類指令進(jìn)行回答。
2. 單跳檢索方法：以 Naive RAG 為代表。這類方法直接使用輸入問題作為搜索查詢，進(jìn)行單輪檢索，然后基于檢索到的文檔生成答案。它們沒有考慮多輪檢索和知識提煉的重要性，在處理復(fù)雜問題時往往表現(xiàn)不佳。
3. 多跳檢索方法：包括 Search - o1、IRCoT、Search - R1 和 ReSearch 等。這些方法雖然能夠進(jìn)行多輪檢索，但在檢索過程優(yōu)化和知識提煉方面存在不足。例如，Search - o1 是一種基于智能體搜索的方法，它通過模擬智能體的行為進(jìn)行多輪檢索和推理；IRCoT 將檢索與鏈?zhǔn)剿伎纪评硐嘟Y(jié)合，以提高多跳問題的解答能力；Search - R1 和 ReSearch 則是其他基于強(qiáng)化學(xué)習(xí)的檢索增強(qiáng)推理模型，它們在一定程度上提升了模型的檢索和推理能力，但在知識提煉和檢索特定獎勵的利用上不如 AutoRefine 充分。
實(shí)施細(xì)節(jié)
為了模擬真實(shí)世界的搜索場景，實(shí)驗(yàn)中使用了 2018 年 12 月的維基百科快照作為外部知識源。這是因?yàn)榫S基百科涵蓋了廣泛的主題和知識領(lǐng)域，是一個豐富且權(quán)威的信息來源。同時，采用 E5 - base - v2 作為檢索引擎，該引擎能夠高效地對文檔進(jìn)行索引和檢索，快速返回與查詢相關(guān)的文檔。在默認(rèn)設(shè)置下，每次查詢會檢索出最相關(guān)的三篇文檔，這樣既能保證信息的豐富性，又能避免過多文檔帶來的噪聲干擾。
在 RL 基線實(shí)驗(yàn)中，使用了 Qwen2.5 - 3B - Base 和 - Instruct 模型。這些模型具有較大的參數(shù)規(guī)模，能夠較好地模擬復(fù)雜的語言理解和生成任務(wù)。對于 SFT 和直接生成基線實(shí)驗(yàn)，則采用了 instruct 變體，因?yàn)樗谧裱祟愔噶罘矫娼?jīng)過了專門的優(yōu)化，能夠更好地適應(yīng)問答任務(wù)的需求。大多數(shù)基線結(jié)果直接取自 Search - R1，這是因?yàn)樵撗芯康膶?shí)驗(yàn)設(shè)置與本研究高度一致，確保了對比結(jié)果的公平性和可比性。
實(shí)驗(yàn)結(jié)果：AutoRefine 的表現(xiàn)
整體性能
實(shí)驗(yàn)結(jié)果顯示，AutoRefine 在七個問答基準(zhǔn)數(shù)據(jù)集上的表現(xiàn)顯著優(yōu)于基線方法。在平均準(zhǔn)確率方面，AutoRefine - Base 和 AutoRefine - Instruct 分別比最強(qiáng)的基線方法提高了 6.9% 和 6.0%。這一顯著提升表明，AutoRefine 的 “檢索 - 提煉 - 思考” 范式和多目標(biāo)獎勵機(jī)制能夠有效地增強(qiáng) LLM 的檢索增強(qiáng)型推理能力。
AutoRefine-Base 和 AutoRefine-Instruct 的訓(xùn)練動態(tài)。兩種模型都表現(xiàn)出穩(wěn)定的收斂性以及穩(wěn)定的下游任務(wù)準(zhǔn)確率
特別是在多跳問答基準(zhǔn)上，AutoRefine 的性能提升更為突出。例如，在 2Wiki 數(shù)據(jù)集上，AutoRefine 將準(zhǔn)確率提升了 8.3%，在 Musique 數(shù)據(jù)集上提升了 4.5%，相對增幅分別達(dá)到了 21% 和 26.7%。這主要?dú)w功于 AutoRefine 在多跳推理過程中能夠通過高質(zhì)量的搜索查詢和有效的證據(jù)綜合，逐步收集分散的信息片段并將其整合成完整的答案，從而解決了多跳問題中信息獲取和整合的難點(diǎn)。
（研究問題1）AutoRefine與基線方法在不同問答基準(zhǔn)測試中與 Qwen2.5-3B 的準(zhǔn)確性比較。加粗表示最佳結(jié)果，下劃線表示次佳結(jié)果
檢索行為分析
從搜索頻率的變化情況來看，AutoRefine 學(xué)會了進(jìn)行多輪搜索，并且能夠根據(jù)任務(wù)的復(fù)雜性動態(tài)調(diào)整搜索查詢的次數(shù)。在訓(xùn)練樣本和所有七個基準(zhǔn)數(shù)據(jù)集上，AutoRefine - Instruct 的平均搜索調(diào)用次數(shù)收斂到約 1.5 次，而 AutoRefine - Base 則高于 2 次。這表明 AutoRefine 能夠在不同的問題類型和難度級別下，合理地決定需要進(jìn)行多少次搜索才能獲取足夠的信息來回答問題。
在單跳問答基準(zhǔn)上，AutoRefine 初始的搜索頻率較低，隨著訓(xùn)練的進(jìn)行，逐漸調(diào)整到一個適當(dāng)?shù)乃健＠纾谌齻€單跳基準(zhǔn)上，AutoRefine 的搜索頻率最終穩(wěn)定在 1.2 到 2.0 次之間。而在多跳問答基準(zhǔn)上，模型一開始就會進(jìn)行較高頻率的搜索，并且迅速上升到 2.0 到 2.5 次左右。這種差異化的搜索行為反映了 AutoRefine 能夠識別多跳問題需要更多的信息收集和推理步驟，從而主動增加搜索次數(shù)以獲取更全面的信息。
在搜索質(zhì)量方面，AutoRefine 顯示出了明顯的優(yōu)勢。與 Search - R1 和 ReSearch 等基線方法相比，AutoRefine 的搜索質(zhì)量在單跳場景下都能達(dá)到約 70% 的成功率，并且在多跳基準(zhǔn)上的搜索質(zhì)量遠(yuǎn)超基線方法，最高可達(dá) 50% 以上，比基線方法高出 10% 到 15%。這說明 AutoRefine 能夠生成更有效的搜索查詢，使得檢索到的文檔更有可能包含回答問題所需的關(guān)鍵信息。例如，在面對需要精確歷史人物名稱或事件日期的問題時，AutoRefine 的搜索查詢能夠更精準(zhǔn)地定位到相關(guān)的文檔，從而提高了檢索效率和答案的準(zhǔn)確性。
（研究問題2）搜索行為的可視化。（a）AutoRefine每次展開的平均搜索調(diào)用次數(shù)。對于兩種變體，AutoRefine都能自適應(yīng)地針對多跳問題發(fā)出更多的搜索查詢，而針對單跳問題發(fā)出的搜索查詢則更少。（b）檢索增強(qiáng)型推理方法之間的搜索成功率比較。盡管所有方法都比簡單的檢索生成更有效的搜索查詢，但AutoRefine取得了更顯著的性能提升
知識提煉有效性
通過比較搜索、提煉和回答動作的成功率，以及文檔和提煉部分的token數(shù)量，可以清楚地看到知識提煉步驟的有效性。在訓(xùn)練后期，提煉動作的成功率逐漸與搜索動作的成功率趨同，這表明模型已經(jīng)學(xué)會了只要搜索返回正確的文檔，就能在提煉步驟中保留關(guān)鍵證據(jù)。同時，提煉部分的token數(shù)量通常在 100 到 200 個之間，遠(yuǎn)少于文檔的token數(shù)量（通常不少于 600 個）。這說明知識提煉步驟在保留關(guān)鍵信息的同時，大幅減少了上下文長度，有效地從檢索文檔中提煉出了關(guān)鍵證據(jù)，過濾掉了大量無關(guān)內(nèi)容。
例如，在一個案例中，模型檢索到的文檔可能包含關(guān)于某個歷史事件的詳細(xì)描述、相關(guān)人物的生平介紹以及其他背景信息，總長度可能達(dá)到數(shù)千字。經(jīng)過知識提煉步驟后，模型能夠提取出與問題直接相關(guān)的幾個關(guān)鍵句子，如事件發(fā)生的時間、地點(diǎn)、主要人物和關(guān)鍵結(jié)果等，將這些信息整合成簡潔的段落，長度縮短到幾百字以內(nèi)。這不僅提高了模型處理信息的效率，還使得后續(xù)的推理和答案生成更加聚焦和準(zhǔn)確。
（研究問題3）在（a）成功率和（b）平均標(biāo)記數(shù)量方面對搜索、細(xì)化和回答行為進(jìn)行比較。知識細(xì)化在減少上下文長度的同時，保留了檢索到的文檔中的關(guān)鍵信息
檢索深度影響
實(shí)驗(yàn)還探討了不同檢索深度（即每次檢索返回的文檔數(shù)量 k 從 1 到 7 變化）對模型性能的影響。結(jié)果表明，AutoRefine 在不同的 k 值下均能穩(wěn)定提升平均準(zhǔn)確率。與基線方法相比，AutoRefine 在 k≥3 時優(yōu)勢尤為明顯，平均準(zhǔn)確率提升了 0.04 到 0.1。當(dāng) k=5 時，性能提升達(dá)到峰值 0.09，這表明在這一深度下，信息的豐富度和噪聲之間達(dá)到了一個較好的平衡。這說明 AutoRefine 具有強(qiáng)大的文檔去噪能力，即使在檢索到較多文檔的情況下，也能夠有效地識別并利用其中的有用信息，同時過濾掉無關(guān)或冗余的內(nèi)容。
（研究問題4）在不同檢索深度下下游任務(wù)的準(zhǔn)確率對比。在檢索深度為1到7時，AutoRefine均展現(xiàn)出穩(wěn)健的性能提升
案例研究：AutoRefine 的實(shí)戰(zhàn)表現(xiàn)
為了更直觀地展示 AutoRefine 的性能和優(yōu)勢，下面列舉幾個不同領(lǐng)域和復(fù)雜度的案例進(jìn)行詳細(xì)分析。
案例 1：人物關(guān)系問題
問題：“《傲慢與偏見》中伊麗莎白·班內(nèi)特的丈夫是誰？”
在這一案例中，AutoRefine 首先進(jìn)行思考，確定需要檢索《傲慢與偏見》中伊麗莎白·班內(nèi)特的婚姻狀況。然后發(fā)起搜索查詢 “《傲慢與偏見》伊麗莎白·班內(nèi)特 丈夫”，檢索到的文檔包含了小說中相關(guān)的章節(jié)內(nèi)容和人物關(guān)系介紹。在提煉步驟中，模型提取出關(guān)鍵信息：“伊麗莎白·班內(nèi)特最終與達(dá)西先生結(jié)婚”，并進(jìn)一步確認(rèn)了達(dá)西先生的全名是菲茨威廉·達(dá)西。最終基于這些提煉后的信息生成了準(zhǔn)確的回答：“伊麗莎白·班內(nèi)特的丈夫是菲茨威廉·達(dá)西。”
相比之下，傳統(tǒng) RAG 方法可能在檢索到包含大量人物和情節(jié)描述的文檔后，由于缺乏有效的提煉步驟，難以準(zhǔn)確提取出伊麗莎白與達(dá)西的婚姻關(guān)系，導(dǎo)致生成的答案可能不夠準(zhǔn)確或完整。而 AutoRefine 的知識提煉步驟使得它能夠精準(zhǔn)定位到關(guān)鍵信息，從而給出了正確的答案。
案例 2：歷史事件問題
問題：“第一次世界大戰(zhàn)的直接導(dǎo)火索是什么？”
AutoRefine 在思考階段明確了問題的核心在于找出第一次世界大戰(zhàn)的直接引發(fā)事件。隨后執(zhí)行搜索操作，查詢 “第一次世界大戰(zhàn) 直接導(dǎo)火索”，檢索到的文檔包括歷史教材中的相關(guān)內(nèi)容、學(xué)術(shù)論文對第一次世界大戰(zhàn)起因的分析以及一些歷史網(wǎng)站的介紹。在對這些文檔進(jìn)行提煉時，模型成功識別出 “1914 年 6 月 28 日，奧匈帝國皇儲斐迪南大公在薩拉熱窩遇刺身亡” 這一關(guān)鍵事件，并將其作為答案的核心內(nèi)容。經(jīng)過進(jìn)一步的思考和驗(yàn)證，模型確認(rèn)這一事件正是第一次世界大戰(zhàn)的直接導(dǎo)火索，從而生成了準(zhǔn)確且簡潔的回答。
該案例體現(xiàn)了 AutoRefine 在處理歷史事件類問題時的優(yōu)勢。它能夠通過多輪搜索和提煉，從不同來源的文檔中提取出與問題高度相關(guān)的關(guān)鍵事件，并將其組織成符合邏輯的答案。而其他方法可能由于無法有效整合多源信息或遺漏關(guān)鍵細(xì)節(jié)，導(dǎo)致答案不夠準(zhǔn)確或全面。
案例 3：科學(xué)技術(shù)問題
問題：“量子計(jì)算機(jī)與經(jīng)典計(jì)算機(jī)的主要區(qū)別是什么？”
在這個較為復(fù)雜的科學(xué)技術(shù)問題中，AutoRefine 展示了其強(qiáng)大的多跳推理和知識提煉能力。首先，模型進(jìn)行初步搜索，查詢 “量子計(jì)算機(jī)與經(jīng)典計(jì)算機(jī) 區(qū)別”，檢索到的文檔涵蓋了量子計(jì)算機(jī)和經(jīng)典計(jì)算機(jī)在原理、計(jì)算能力、應(yīng)用場景等多個方面的比較。通過提煉步驟，模型提取出一些關(guān)鍵點(diǎn)，如量子計(jì)算機(jī)基于量子比特進(jìn)行計(jì)算，能夠?qū)崿F(xiàn)并行計(jì)算，適合處理特定的復(fù)雜問題；而經(jīng)典計(jì)算機(jī)基于二進(jìn)制比特，按順序執(zhí)行指令，適用于日常的通用計(jì)算任務(wù)。然而，模型發(fā)現(xiàn)這些信息還不夠完整，于是再次發(fā)起搜索，查詢 “量子比特與經(jīng)典比特 原理”，進(jìn)一步獲取了關(guān)于量子疊加和量子糾纏等量子計(jì)算核心原理的詳細(xì)文檔。經(jīng)過再次提煉和整合，模型最終生成了一個全面、準(zhǔn)確且易于理解的答案，清晰地闡述了量子計(jì)算機(jī)與經(jīng)典計(jì)算機(jī)在工作原理、計(jì)算能力和應(yīng)用場景等方面的主要區(qū)別。
這一案例充分展示了 AutoRefine 在面對復(fù)雜科學(xué)技術(shù)問題時的推理深度和信息處理能力。它能夠通過多次搜索和提煉，逐步深入地挖掘問題的核心要點(diǎn)，并將分散在不同文檔中的信息進(jìn)行有效的整合和組織，最終生成高質(zhì)量的答案。而傳統(tǒng)的 RAG 方法或其他基于 RL 的檢索增強(qiáng)推理方法可能在多跳信息獲取和復(fù)雜知識整合方面存在困難，導(dǎo)致無法給出如此全面且準(zhǔn)確的回答。
案例研究。如果模型回答錯誤，預(yù)測結(jié)果將以紅色顯示；如果模型回答正確，則以綠色顯示。核心證據(jù)以藍(lán)色顯示
消融研究
消融研究的結(jié)果進(jìn)一步證明了 AutoRefine 中檢索特定獎勵和知識提煉步驟的重要性。在完整 AutoRefine 模型、去掉檢索特定獎勵的模型以及同時去掉檢索特定獎勵和知識提煉步驟的模型之間進(jìn)行對比，結(jié)果顯示完整 AutoRefine 模型在平均準(zhǔn)確率上始終最高。
在 AutoRefine 中關(guān)鍵組件的消融研究
在回答準(zhǔn)確率方面，完整模型在單跳和多跳問答基準(zhǔn)上均表現(xiàn)最佳。例如，在 HotpotQA 數(shù)據(jù)集上，完整 AutoRefine - Base 模型的準(zhǔn)確率達(dá)到 40.5%，而去掉檢索特定獎勵的模型準(zhǔn)確率為 36.8%，同時去掉檢索特定獎勵和知識提煉步驟的模型準(zhǔn)確率更是降至 29.4%。這表明檢索特定獎勵和知識提煉步驟對于模型性能的提升起到了至關(guān)重要的作用。
進(jìn)一步分析各組件對搜索和提煉能力的影響，發(fā)現(xiàn)檢索特定獎勵對促進(jìn)多輪搜索行為具有顯著效果。在對比實(shí)驗(yàn)中，帶有檢索特定獎勵的模型在多跳問題上的搜索頻率明顯高于未帶該獎勵的模型，并且其搜索質(zhì)量也得到了顯著提升。同時，知識提煉步驟的加入增強(qiáng)了模型的檢索頻率和質(zhì)量，使得模型能夠更有效地從檢索到的文檔中提取關(guān)鍵信息，從而進(jìn)一步提高了答案的準(zhǔn)確率。
關(guān)鍵組件對搜索行為和優(yōu)化質(zhì)量的有效性
實(shí)操落地
部署環(huán)境搭建：硬件與軟件環(huán)境配置
硬件與軟件環(huán)境配置
要成功部署 AutoRefine，首先需要具備適當(dāng)?shù)挠布蛙浖h(huán)境。在硬件方面，建議使用具有高性能 GPU 的服務(wù)器，以加速模型的訓(xùn)練和推理過程。至少需要配備 NVIDIA A100 或 V100 GPU，內(nèi)存容量建議在 16GB 以上，以保證模型能夠在大規(guī)模數(shù)據(jù)集上高效運(yùn)行。
在軟件環(huán)境方面，需要安裝以下關(guān)鍵組件：
- Python 版本選擇：推薦使用 Python 3.9，因?yàn)樗诩嫒菪院托阅芊矫姹憩F(xiàn)出色，同時得到了廣泛的支持。
- PyTorch 框架安裝：由于 AutoRefine 基于 PyTorch 構(gòu)建，需要安裝 PyTorch 2.4.0 版本。可以通過以下命令進(jìn)行安裝：
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu1213. vLLM 庫安裝：vLLM 是一個高效的大型語言模型推理庫，能夠顯著提高模型的生成速度和效率。安裝命令如下：
pip3 install vllm==0.5.44. Flash Attention 2 安裝：為了進(jìn)一步提升模型的訓(xùn)練和推理效率，建議安裝 Flash Attention 2。其安裝命令為：
pip install flash-attn==2.7.0.post25. Wandb 日志記錄工具：Wandb 是一個強(qiáng)大的實(shí)驗(yàn)跟蹤和日志記錄工具，可以幫助我們更好地監(jiān)控和分析模型的訓(xùn)練過程。安裝命令如下：
pip install wandb6. Faiss 檢索庫安裝：Faiss 是一個高效的相似性搜索庫，用于構(gòu)建本地檢索服務(wù)器。安裝步驟如下：
conda create -n faiss_env pythnotallow=3.10
conda activate faiss_env
conda install pytorch==2.4.0 torchvisinotallow==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.1 -c pytorch -c nvidia
pip install transformers datasets pyserini
conda install -c pytorch -c nvidia faiss-gpu=1.8.0
pip install uvicorn fastapi完成上述環(huán)境配置后，即可開始部署 AutoRefine 模型。
數(shù)據(jù)集準(zhǔn)備與預(yù)處理
在部署 AutoRefine 之前，需要準(zhǔn)備并預(yù)處理用于訓(xùn)練和評估的數(shù)據(jù)集。具體步驟如下：
1. 數(shù)據(jù)集下載：從 FlashRAG Collection 下載所需的問答數(shù)據(jù)集，包括 Natural Questions（NQ）、TriviaQA、PopQA、HotpotQA、2WikiMultihopQA、Musique 和 Bamboogle 等。
bash preprocess/scripts/data_process.sh2. 數(shù)據(jù)集合并：將 NQ 和 HotpotQA 的訓(xùn)練集合并，作為 AutoRefine 的訓(xùn)練數(shù)據(jù)；將其他數(shù)據(jù)集的測試或開發(fā)集合并，作為評估數(shù)據(jù)。
3. 數(shù)據(jù)預(yù)處理：對下載的數(shù)據(jù)集進(jìn)行預(yù)處理，包括文本清洗、分詞、格式轉(zhuǎn)換等操作，使其符合模型的輸入要求。預(yù)處理腳本通常會處理以下內(nèi)容：
- 移除文本中的噪聲和特殊字符
- 將文本分割成適當(dāng)?shù)拈L度
- 轉(zhuǎn)換為模型所需的輸入格式（如 JSON 或 TFRecord）
4. 檢索語料庫構(gòu)建：使用維基百科快照構(gòu)建檢索語料庫。具體步驟如下：
save_path=./data
python preprocess/download.py --save_path $save_path
cat $save_path/part_* > $save_path/e5_Flat.index
gzip -d $save_path/wiki-18.jsonl.gz通過上述步驟，可以確保數(shù)據(jù)集和檢索語料庫的準(zhǔn)備工作順利完成，為模型的訓(xùn)練和評估奠定基礎(chǔ)。
模型參數(shù)調(diào)整與優(yōu)化：策略與技巧
參數(shù)調(diào)整策略
AutoRefine 的性能在很大程度上取決于模型參數(shù)的合理設(shè)置。以下是一些關(guān)鍵參數(shù)及其調(diào)整策略：
1. 學(xué)習(xí)率（Learning Rate）：學(xué)習(xí)率是控制模型更新速度的重要參數(shù)。在訓(xùn)練初期，可以設(shè)置較高的學(xué)習(xí)率（如 1e-5）以加快收斂速度；隨著訓(xùn)練的進(jìn)行，逐步降低學(xué)習(xí)率（如 1e-6），以確保模型能夠精細(xì)調(diào)整并達(dá)到最優(yōu)性能。
2. 批次大小（Batch Size）：批次大小決定了每次訓(xùn)練更新所使用的樣本數(shù)量。較大的批次大小可以提高訓(xùn)練效率，但會增加內(nèi)存占用。建議從較小的批次大小（如 32）開始，逐步增加至合適的大小（如 256），以在效率和資源占用之間取得平衡。
3. 裁剪參數(shù)（Clipping Parameter）：在 GRPO 算法中，裁剪參數(shù) ε 用于控制策略更新的幅度。通常建議將 ε 設(shè)置在 0.1 到 0.3 之間，以防止策略更新幅度過大而導(dǎo)致訓(xùn)練不穩(wěn)定。
4. 檢索深度（Retrieval Depth）：根據(jù)任務(wù)的復(fù)雜性和需求，調(diào)整每次檢索返回的文檔數(shù)量（k 值）。對于簡單的單跳問題，k 值可以設(shè)置為 1 到 3；而對于復(fù)雜的多跳問題，建議將 k 值設(shè)置為 3 到 7，以確保信息的充分性和多樣性。
優(yōu)化技巧
為了進(jìn)一步提升 AutoRefine 的性能，可以采用以下優(yōu)化技巧：
1. 混合精度訓(xùn)練（Mixed Precision Training）：利用 GPU 的混合精度計(jì)算能力，在訓(xùn)練過程中同時使用浮點(diǎn)數(shù) 16 位（FP16）和 32 位（FP32），從而加快訓(xùn)練速度并減少內(nèi)存占用。在 PyTorch 中，可以通過 torch.cuda.amp 模塊實(shí)現(xiàn)混合精度訓(xùn)練。
2. 梯度累積（Gradient Accumulation）：在內(nèi)存有限的情況下，通過累積多個小批次的梯度來模擬大批次訓(xùn)練的效果，從而提高模型的收斂速度和性能。
3. 學(xué)習(xí)率預(yù)熱（Learning Rate Warmup）：在訓(xùn)練初期，逐漸增加學(xué)習(xí)率，以避免模型在初始階段因?qū)W習(xí)率過高而導(dǎo)致的訓(xùn)練不穩(wěn)定。通常可以在前 10% 到 20% 的訓(xùn)練步數(shù)中進(jìn)行學(xué)習(xí)率預(yù)熱。
4. 早停（Early Stopping）：在訓(xùn)練過程中，如果模型在驗(yàn)證集上的性能在一定數(shù)量的訓(xùn)練步數(shù)內(nèi)沒有改善，則提前停止訓(xùn)練，以防止過擬合并節(jié)省計(jì)算資源。
實(shí)際應(yīng)用案例與建議：從理論到實(shí)踐
智能客服系統(tǒng)
在智能客服系統(tǒng)中，AutoRefine 可以用于實(shí)時回答客戶問題，提供準(zhǔn)確且最新的解決方案。實(shí)踐建議如下：
1. 問題分類與路由：首先對客戶問題進(jìn)行分類，識別其所屬領(lǐng)域（如技術(shù)問題、訂單查詢、賬戶管理等），然后將問題路由到相應(yīng)的 AutoRefine 模型實(shí)例，以提高處理效率和答案的相關(guān)性。
2. 知識庫更新機(jī)制：定期從公司內(nèi)部文檔、幫助中心文章和常見問題解答（FAQ）中更新檢索語料庫，確保模型能夠獲取最新的信息來回答客戶問題。
3. 多輪對話管理：在與客戶的多輪對話中，利用 AutoRefine 的多輪搜索和推理能力，逐步深入地解決復(fù)雜問題。例如，如果客戶的問題涉及多個子問題或需要逐步引導(dǎo)，模型可以通過多次檢索和推理生成連貫且完整的回答。
4. 性能監(jiān)控與日志記錄：實(shí)時監(jiān)控模型的性能指標(biāo)，如響應(yīng)時間、答案準(zhǔn)確率和客戶滿意度等。同時，記錄詳細(xì)的對話日志和模型推理過程，以便于后續(xù)分析和優(yōu)化。
醫(yī)學(xué)信息檢索系統(tǒng)
在醫(yī)學(xué)領(lǐng)域，AutoRefine 可以幫助醫(yī)生和研究人員快速獲取最新的醫(yī)學(xué)研究成果、疾病診斷信息和治療方案。實(shí)踐建議如下：
- 專業(yè)醫(yī)學(xué)知識庫構(gòu)建：整合權(quán)威醫(yī)學(xué)文獻(xiàn)數(shù)據(jù)庫（如 PubMed）、臨床指南和醫(yī)學(xué)教科書等內(nèi)容，構(gòu)建專業(yè)的醫(yī)學(xué)知識庫。定期更新知識庫，以確保信息的時效性和準(zhǔn)確性。
- 問題語義解析與轉(zhuǎn)換：由于醫(yī)學(xué)問題往往具有較高的專業(yè)性和復(fù)雜性，需要對用戶問題進(jìn)行語義解析和轉(zhuǎn)換，將其轉(zhuǎn)化為模型能夠理解和檢索的標(biāo)準(zhǔn)形式。例如，將自然語言問題轉(zhuǎn)換為包含醫(yī)學(xué)術(shù)語和關(guān)鍵詞的查詢語句。
- 答案驗(yàn)證與可信度評估：在生成醫(yī)學(xué)答案時，添加驗(yàn)證步驟，確保答案的準(zhǔn)確性和可信度。可以通過與多個權(quán)威來源進(jìn)行對比驗(yàn)證，或者引入專家審核機(jī)制，對模型生成的答案進(jìn)行評估和修正。
- 用戶反饋與模型迭代：收集醫(yī)生和研究人員的使用反饋，分析模型在回答醫(yī)學(xué)問題時的優(yōu)點(diǎn)和不足。根據(jù)反饋結(jié)果，對模型進(jìn)行迭代優(yōu)化，不斷提高其在醫(yī)學(xué)領(lǐng)域的性能和可靠性。
總結(jié)
AutoRefine 在檢索增強(qiáng)型推理任務(wù)中取得了突破性的成果。通過引入 “檢索 - 提煉 - 思考” 范式和多目標(biāo)獎勵機(jī)制，它有效地解決了傳統(tǒng) RAG 方法和基于 RL 的檢索增強(qiáng)推理方法中存在的關(guān)鍵問題。AutoRefine 使 LLM 能夠更精準(zhǔn)地檢索外部知識、更高效地提煉關(guān)鍵信息，并在推理過程中充分利用這些信息生成高質(zhì)量的答案。在七個問答基準(zhǔn)上的實(shí)驗(yàn)結(jié)果充分證明了其優(yōu)越性，平均準(zhǔn)確率提升高達(dá) 6.9%，特別是在多跳推理場景中，其性能提升更為顯著，為構(gòu)建更準(zhǔn)確、更可靠的檢索增強(qiáng)型 LLM 提供了全新的思路和方法。
拓展與深化 AutoRefine 的潛力
盡管 AutoRefine 的實(shí)驗(yàn)成績顯著，但仍有進(jìn)一步提升的空間和值得探索的新方向。可以將 AutoRefine 框架擴(kuò)展到更大規(guī)模的語言模型，如 7B 或 13B 變體。隨著模型參數(shù)規(guī)模的增加，模型的表示能力和推理能力有望得到進(jìn)一步提升，這可能使 AutoRefine 展現(xiàn)出全新的行為和性能特點(diǎn)，例如更強(qiáng)大的多跳推理能力、更精準(zhǔn)的知識提煉能力等。然而，訓(xùn)練和優(yōu)化更大規(guī)模的模型也面臨著計(jì)算資源、訓(xùn)練效率等方面的挑戰(zhàn)，需要研究相應(yīng)的解決方案，如更高效的并行訓(xùn)練策略、模型壓縮技術(shù)等。
另外，可以嘗試采用更靈活和語義感知的評估指標(biāo)來衡量復(fù)雜問答任務(wù)中答案的質(zhì)量。傳統(tǒng)的準(zhǔn)確匹配準(zhǔn)確率等指標(biāo)雖然能夠直觀地反映答案的精確性，但在面對一些需要深度推理、語義理解或創(chuàng)造性回答的問題時，可能存在一定的局限性。以 LLM 作為 Judger 評判的評估方式可能更符合實(shí)際應(yīng)用場景中人類對答案質(zhì)量的判斷標(biāo)準(zhǔn)，也能夠更全面地評估模型的綜合性能。但這需要解決如何設(shè)計(jì)合理的 LLM 評判模型、如何避免評判過程中的主觀偏差等問題。
還有，將 AutoRefine 適應(yīng)動態(tài)檢索環(huán)境是一個重要的問題。在實(shí)際應(yīng)用中，用戶往往期望問答系統(tǒng)能夠提供最新、最時效的信息，這就要求模型能夠接入實(shí)時網(wǎng)絡(luò)搜索服務(wù)，并能夠處理持續(xù)演變的文檔語料庫。然而，動態(tài)檢索環(huán)境也帶來了諸多挑戰(zhàn)，如實(shí)時文檔的質(zhì)量參差不齊、信息更新頻率高導(dǎo)致模型需要不斷適應(yīng)新知識等。因此，需要研究如何優(yōu)化 AutoRefine 的檢索和推理策略，使其在動態(tài)環(huán)境中仍能保持高效、準(zhǔn)確的性能，從而增強(qiáng)系統(tǒng)在實(shí)際應(yīng)用中的實(shí)用性和時效性。
綜上所述，AutoRefine 為我們展示了檢索增強(qiáng)型大型語言模型推理的新范式和巨大潛力。這個框架幾乎可以作為商用的企業(yè)級 Deep Research 基模的智能構(gòu)建框架。但在落地的時候，這個框架的使用僅僅是完成了第一步，也就是基礎(chǔ)模型構(gòu)建的大部分工作。從我 AI 全棧的視角來看，其他部分，還需要落地團(tuán)隊(duì)擴(kuò)展的知道如何定義“任務(wù)”“環(huán)境”“業(yè)務(wù)評估”等要素。而 AI 應(yīng)用工程團(tuán)隊(duì)，還需要構(gòu)建 Agentic RAG 架構(gòu)來輔以增強(qiáng)智能體驗(yàn)，來面向客戶交付結(jié)果，構(gòu)成 RaaS（Result as a Service）交付。但這不在本文探討的范疇，所以不再贅述。
參考資料
- Search and Refine During Think: Autonomous Retrieval - Augmented Reasoning of LLM.
