AssisTRAG通過(guò)集成一個(gè)智能信息助手來(lái)提升LLMs處理復(fù)雜推理任務(wù)的能力。該框架由兩個(gè)主要組件構(gòu)成：一個(gè)凍結(jié)的主語(yǔ)言模型和一個(gè)可訓(xùn)練的助手語(yǔ)言模型。

AssisTRAG與之前的RAG對(duì)比

1. 組件

• 主語(yǔ)言模型（Main LLM）：負(fù)責(zé)根據(jù)提供的信息生成答案。這個(gè)模型是固定的，不進(jìn)行訓(xùn)練。
• 助手語(yǔ)言模型（Assistant LLM）：負(fù)責(zé)信息管理，包括記憶管理和知識(shí)管理。這個(gè)模型是可訓(xùn)練的。

可以看出，相比之前的RAG，該框架主要?jiǎng)?chuàng)新點(diǎn)是引入一個(gè)Assistant LLM，下面詳細(xì)看下助手語(yǔ)言模型功能。

2. AssisTRAG

圖片

AssisTRAG主要分為兩個(gè)類別來(lái)處理復(fù)雜任務(wù)：記憶管理和知識(shí)管理。記憶管理涉及整合和分析來(lái)自內(nèi)部?jī)?nèi)存的內(nèi)容，而知識(shí)管理則側(cè)重于利用外部知識(shí)。這兩個(gè)主要功能由AssisTRAG的四個(gè)核心能力支持：

• 工具使用（Tool Usage）：從內(nèi)部記憶和外部知識(shí)庫(kù)中檢索相關(guān)信息。
• 動(dòng)作執(zhí)行（Action Execution）：進(jìn)行推理、分析信息需求并提取知識(shí)。
• 記憶構(gòu)建（Memory Building）：記錄從歷史交互中提取的關(guān)鍵知識(shí)和推理模式。
• 計(jì)劃指定（Plan Specification）：確定在答案生成過(guò)程中每個(gè)步驟的必要性。

2.1 記憶管理

記憶管理模塊通過(guò)存儲(chǔ)和檢索歷史交互來(lái)提升主語(yǔ)言模型的性能。有效的記憶管理包括兩個(gè)主要過(guò)程：捕獲新見(jiàn)解和檢索先前存儲(chǔ)的信息。這兩個(gè)過(guò)程主要有以下三個(gè)能力：

• Action I: 筆記記錄

• Tool I: 記憶檢索器

• Plan I: 評(píng)估檢索記憶的有用性

如果問(wèn)題是全新的，檢索到的記憶可能不僅無(wú)助于回答，還可能負(fù)面影響主語(yǔ)言模型的響應(yīng)。因此，助手需要評(píng)估檢索到的記憶是否對(duì)當(dāng)前問(wèn)題有幫助。具體來(lái)說(shuō)，助手使用一個(gè)提示來(lái)評(píng)估檢索到的記憶是否有助于回答當(dāng)前問(wèn)題。只有當(dāng)答案是肯定的時(shí)候，檢索到的記憶才會(huì)被提供給主語(yǔ)言模型。

實(shí)現(xiàn)：通過(guò)一個(gè)提示，助手評(píng)估檢索到的記憶是否對(duì)當(dāng)前問(wèn)題有益。如果評(píng)估結(jié)果是肯定的，這些記憶槽將被提供給主語(yǔ)言模型。

作用：這一計(jì)劃確保了只有相關(guān)的記憶會(huì)被提供給主語(yǔ)言模型，避免了無(wú)關(guān)或負(fù)面的記憶干擾回答的質(zhì)量。

2.2 知識(shí)管理

知識(shí)管理涉及以下四個(gè)能力：

動(dòng)作 II：?jiǎn)栴}分解

子查詢1：Allie Goertz寫了一首關(guān)于《辛普森一家》角色Milhouse的歌曲。

子查詢2：Matt Groening是根據(jù)誰(shuí)的名字命名了Milhouse？

工具 II：知識(shí)檢索器

動(dòng)作 III：知識(shí)提取

Allie Goertz 是一位美國(guó)音樂(lè)家和諷刺作家。

Milhouse 是《辛普森一家》中的一個(gè)虛構(gòu)角色，由Matt Groening創(chuàng)造，并以意大利獨(dú)裁者Benito Mussolini命名。

計(jì)劃 II：評(píng)估提取知識(shí)的相關(guān)性

• 功能：確保提供給主語(yǔ)言模型的信息準(zhǔn)確且相關(guān)。
• 實(shí)現(xiàn)：助手通過(guò)提示評(píng)估提取的知識(shí)是否與當(dāng)前問(wèn)題相關(guān)。只有當(dāng)提取的知識(shí)被認(rèn)為對(duì)回答問(wèn)題有幫助時(shí)，才會(huì)將其提供給主語(yǔ)言模型。

2.3 AssisTRAG 訓(xùn)練

圖片

AssisTRAG 的訓(xùn)練過(guò)程分為課程助理學(xué)習(xí)和強(qiáng)化偏好優(yōu)化兩個(gè)階段。課程學(xué)習(xí)階段通過(guò)逐步增加任務(wù)復(fù)雜性來(lái)提升助手在 RAG 過(guò)程中的技能。強(qiáng)化偏好優(yōu)化階段則通過(guò)根據(jù)主 LLM 的反饋調(diào)整助手的輸出，確保助手提供的幫助更加貼合主 LLM 的需求。

2.4 AssisTRAG 推理

AssisTRAG 通過(guò)三個(gè)步驟啟動(dòng)其推理過(guò)程：

信息檢索與整合

在這個(gè)初始階段，AssisTRAG 首先激活 Action II 來(lái)理解主 LLM 的信息需求。然后，它使用 Tool I 和 Tool II 分別從內(nèi)部記憶和外部知識(shí)庫(kù)中檢索相關(guān)信息。接著，它調(diào)用 Action III 從檢索到的文檔中提取關(guān)鍵知識(shí)。

決策

在這一階段，AssisTRAG 決定是否將檢索到的記憶和提取的知識(shí)提供給主 LLM。它激活 Plan I 和 Plan II 來(lái)評(píng)估這些檢索到的記憶和知識(shí)對(duì)當(dāng)前問(wèn)題的相關(guān)性和有用性。如果助手認(rèn)為這些信息有幫助，它們將被提供給主 LLM 以輔助回答生成。

回答生成與記憶更新

在最后階段，AssisTRAG 提示主 LLM 根據(jù)問(wèn)題、其內(nèi)部知識(shí)和助手提供的信息生成答案。之后，AssisTRAG 激活 Action I，利用其筆記功能，捕捉交互中的關(guān)鍵推理步驟并將其納入其記憶中。這確保了助手的知識(shí)庫(kù)保持最新。

實(shí)驗(yàn)效果

圖片

參考文獻(xiàn)

Boosting the Potential of Large Language Models with an Intelligent Information Assistant，https://arxiv.org/pdf/2411.06805v1