混合RAG系統，提升復雜推理任務表現 原創
前言
檢索增強生成（RAG）系統在處理復雜推理任務方面展現出顯著的潛力。然而，現有的RAG系統在面對需要復雜推理、多領域知識集成及數值計算的任務時，仍存在性能瓶頸。為了進一步提升系統的表現，本文提出了一種混合RAG系統，通過整合多種優化方法，顯著增強了系統的推理能力和處理復雜任務的能力。本文介紹的RAG系統設計并實現了一個包括網頁處理、屬性預測、數值計算、LLM知識提取、知識圖譜及推理模塊在內的綜合架構。該系統能夠有效地從多種來源提取信息，并通過高級推理模塊結合這些信息，生成高質量的答案。
一、方法
混合RAG系統整體架構
混合RAG系統包括六個關鍵模塊：網頁處理、屬性預測器、數值計算器、LLM知識提取器、知識圖譜模塊和推理模塊。
- 網頁處理：使用trafilatura和BeautifulSoup庫從網頁中提取文本和表格，然后使用Blingfire庫將文本分割成句子，并根據關鍵詞將句子組織成文本塊。
- 屬性預測器：通過LLMs和SVM分類器評估問題的領域、類型和時效性，以優化模型在不同問題類型上的性能。
- 數值計算器：利用外部Python解釋器進行數值計算，通過LLMs生成數學表達式，并使用eval函數處理這些表達式。
- LLM知識提取器：利用LLMs內部的知識進行推理，減少對外部參考文檔的依賴。
- 知識圖譜模塊：通過模擬API查詢知識圖譜，使用LLMs生成查詢語句。
- 推理模塊：結合文本塊、表格、知識圖譜三元組和LLM知識進行最終答案的推理，通過設計良好的提示模板和控制推理路徑來實現。
1.1 網頁處理
網頁處理
- 文本塊處理：
使用trafilatura庫從網頁中提取純文本，該庫能有效去除噪聲，如頁眉、頁腳和鏈接。
對于trafilatura無法處理的網頁，使用BeautifulSoup作為備選方案。
利用Blingfire庫將提取的文本分割成句子。
根據關鍵詞將句子組織成文本塊，例如，將問題和其后的文本連接起來，直到達到預設的長度閾值。
- 表格處理：
- 使用BeautifulSoup提取網頁中的表格，并將其轉換為Markdown格式。
- 清理空表格以減少噪聲。
- 文本嵌入和rank指標：
rank指標
- 使用sentence-t5-large模型生成文本塊和查詢的向量嵌入。
- 采用余弦相似度作為排名指標，計算用戶查詢嵌入和文本塊嵌入之間的相似度。
1.2 屬性預測
- In-Context Learning（ICL）：利用大型語言模型（LLMs）的自然語言理解和多任務泛化能力。通過向模型提供分類指令和5個類別的示例，指導其對后續問題進行分類。采用自我一致性策略，多次采樣模型的輸出，選擇出現頻率最高的類別作為問題的分類結果。
- 支持向量機（SVM）：使用CRAG公開數據集訓練一個SVM分類器。利用MiniLM-L6-v2模型獲取句子嵌入，用于訓練SVM。SVM模型在預測屬性方面表現出較高的準確性，并且計算開銷較小。
屬性預測提示詞
1.3 數值計算
- 生成數學表達式：鼓勵大型語言模型（LLMs）將推理過程表述為數學表達式。將可能包含數值信息的檢索到的文本塊和表格整合到模型的提示中。使用提示技術促使模型直接生成有效的Python表達式。
- 計算表達式：使用多次采樣生成Python表達式，并通過eval函數處理這些表達式以得到計算結果。
數值計算提示詞
- 安全性和終止執行：LLMs生成的程序代碼可能包含惡意代碼，直接執行這些代碼可能對系統穩定性構成威脅。為了確保系統安全，最佳實踐是使用ast.literal_eval或在沙箱環境中執行代碼。
1.4 LLM知識提取器
知識提取器的過程類似于常規的模型生成過程。使用zero-shot提示，這些提示要求模型評估給定查詢是否涉及錯誤前提，并生成更簡潔的響應。在提示中不包含來自外部知識庫的參考文檔，并且不包括多次采樣，以減少計算開銷。
LLM能夠僅基于訓練過程中內部化的知識進行響應。這種方法在處理被分類為慢變和穩定的問題時表現良好。
直接讓模型回答問題可能會引入幻覺，盡管使用了零樣本CoT推理。為了平衡幻覺和LLM內部知識，系統將LLM知識提取器的輸出僅作為參考之一。設計了特定的提示，確保模型既不過度依賴文檔參考，也不過分信任LLM的知識。
提示模板旨在讓LLM基于所有參考信息進行推理并得出最終答案。通過輸出格式示范和零樣本CoT控制推理過程，這對于多跳問題特別有用。利用Llama3-70B-Instruct的強指令遵循能力，成功地在控制推理任務方面取得了穩步進展。
設計了多條規則來約束推理路徑和輸出格式，確保輸出精確。通過在提示中提出中間問題來引導模型推理。
LLM知識提取器提示詞
1.5 知識圖譜抽取模塊
使用 函數調用方法：系統從查詢中提取實體，并使用LLM生成函數調用來檢索相關信息。函數調用的質量取決于LLM生成的查詢語句的質量。
知識圖譜抽取模塊提示詞-函數調用方法的提示模板
1.6 推理模塊
- 輸入信息整合：推理模塊接收來自網頁處理、數值計算器、LLM知識提取器和知識圖譜模塊的所有參考信息，包括文本塊、表格、知識圖譜三元組和LLM生成的知識。
- 提示模板設計：設計了一個詳細的提示模板，用于指導大型語言模型（LLM）進行推理。提示模板包括系統提示和用戶提示。系統提示明確了任務要求、規則和輸出格式。用戶提示包含了具體的查詢和參考信息。
- 推理路徑控制：通過輸出格式示范和零樣本CoT技術，控制推理路徑，特別是對于多跳問題。設計了多條規則來約束推理路徑和輸出格式，確保輸出精確。
- 中間問題引導：在提示中提出中間問題，引導模型進行逐步推理，從而提高推理的準確性和詳細程度。
- 處理不確定性和錯誤：如果參考信息不包含回答問題所需的信息，或者模型無法基于當前知識直接回答問題，模型將回答“我不知道”。如果問題的前提是錯誤的，模型將回答“無效問題”。
- 最終答案生成：模型生成的推理過程和最終答案必須遵循嚴格的格式要求，確保答案簡潔且詳細解釋推理過程。
推理模塊提示詞
1.7 處理邊界情況
- 無效問題：通過分析提供的參考信息，識別出具有錯誤前提的問題，即查詢與事實相矛盾的問題。在推理提示中添加特殊規則，使模型在這種情況下輸出“無效問題”。
- 減少幻覺：使用屬性預測器和推理模塊來減少幻覺。對于時間變化的問題，模型會回答“我不知道”，因為這些問題難以處理。在推理模塊中添加規則和提示工程技術，使模型在不確定時回答“我不知道”。
- 格式錯誤：由于未對推理輸出進行約束采樣，模型可能會生成無法解析的答案。設計了一個備份總結代理，當解析失敗時，基于推理模塊的輸出生成簡潔準確的總結。設計了一個備份總結代理，當解析失敗時，基于推理模塊的輸出生成簡潔準確的總結。
備份總結代理提示詞
二、實驗
- 領域屬性表現：系統在電影、音樂和開放領域表現良好，但在金融和體育領域表現不佳，主要因為這些領域需要處理動態信息。
- 動態性問題：隨著問題的動態性增加，系統的有效性逐漸下降。
- 問題類型表現：系統在需要復雜推理的任務上表現優異，這得益于強大的推理模塊。
消融實驗
數值計算器和推理模塊對系統性能的提升貢獻顯著。
總結
本文介紹了一種混合檢索增強生成（RAG）系統，通過一系列綜合優化顯著提高了檢索質量、增強了推理能力并提升了數值計算能力，通過多個模塊的協同工作顯著提升了LLMs在復雜推理任務中的表現。
參考文獻
- A Hybrid RAG System with Comprehensive Enhancement on Complex Reasoning，https://arxiv.org/pdf/2408.05141v1
- ??https://gitlab.aicrowd.com/shizueyy/crag-new??
本文轉載自公眾號大模型自然語言處理 作者：余俊暉
