隨著生成式 AI 技術的快速發展，RAG（Retrieval-Augmented Generation）和 Agent 成為企業應用大模型的最直接途徑。然而，傳統的 RAG 系統在準確性和動態學習能力上存在明顯不足，尤其是在處理復雜上下文和關聯性任務時表現不佳。近期，一篇論文提出了 HippoRAG 2，這一新型 RAG 框架在多個方面取得了顯著進步，為企業級 AI 應用提供了更強大的解決方案。

1. HippoRAG 2 簡介：模仿人類記憶的 RAG 框架

HippoRAG 2 是一種創新的檢索增強生成框架，旨在提升大語言模型（LLMs）的持續學習能力。它通過模仿人類長期記憶的動態性和互聯性，解決了現有 RAG 系統在 意義理解（sense-making） 和 關聯性（associativity） 任務上的局限性。HippoRAG 2 在原始 HippoRAG 的基礎上進行了多項改進，包括增強段落整合、上下文感知和在線 LLM 使用，從而在事實記憶、意義理解和關聯性任務上表現出色。

2. 為什么長期記憶對提升 RAG 的準確率有顯著影響？

長期記憶機制是 HippoRAG 2 的核心創新之一，它通過模仿人類大腦的記憶方式，顯著提升了 RAG 系統回答問題的準確率。以下是長期記憶機制對 RAG 準確率提升的具體影響，并結合實際示例說明：

2.1 增強上下文理解能力

傳統 RAG 系統通常依賴向量檢索，難以捕捉復雜上下文中的隱含信息，導致回答問題時缺乏深度理解。長期記憶機制通過動態整合上下文信息，能夠更好地理解查詢的意圖和背景，從而生成更準確的回答。

示例：

• 查詢：“為什么特斯拉的股價在 2023 年大幅波動？”
• 傳統 RAG：可能只檢索到與“特斯拉股價”相關的孤立信息，忽略宏觀經濟、行業趨勢等關聯因素。
• HippoRAG 2：通過長期記憶機制，能夠整合特斯拉財報、電動汽車行業動態、全球經濟環境等多維度信息，生成更全面的回答。

2.2 提升多跳推理能力

多跳推理任務需要模型連接多個分散的知識片段，傳統 RAG 系統在這方面表現較差。長期記憶機制通過知識圖譜（KG）結構支持多跳推理，能夠逐步推導出答案，顯著提升復雜查詢的回答準確率。

示例：

• 查詢：“蘋果公司創始人史蒂夫·喬布斯的第一份工作是什么？”
• 傳統 RAG：可能只能檢索到“史蒂夫·喬布斯”或“蘋果公司”的孤立信息，無法連接“第一份工作”這一關鍵點。
• HippoRAG 2：通過知識圖譜中的關聯關系，能夠從“史蒂夫·喬布斯”節點跳轉到“早期職業生涯”節點，最終找到“他在 Atari 公司工作”的答案。

2.3 避免災難性遺忘

傳統 RAG 系統在引入新知識時容易遺忘舊知識，導致回答問題時出現不一致或錯誤。長期記憶機制能夠動態更新知識圖譜，同時保留舊知識，避免災難性遺忘，確保回答的準確性和一致性。

示例：

• 場景：某公司的產品價格在 2023 年進行了調整。
• 傳統 RAG：可能仍然使用 2022 年的價格信息，導致回答錯誤。
• HippoRAG 2：通過長期記憶機制，能夠動態更新價格信息，并確保回答時使用最新的數據。

2.4 提升關聯性任務的準確率

傳統 RAG 系統在處理關聯性任務時表現不佳，難以連接分散的知識片段。長期記憶機制通過知識圖譜中的“包含”關系和“上下文邊緣”連接相關段落和短語，能夠更好地捕捉知識片段之間的關聯性，生成更準確的回答。

示例：

• 查詢：“量子計算對人工智能的發展有什么影響？”
• 傳統 RAG：可能只能檢索到“量子計算”或“人工智能”的孤立信息，無法連接兩者之間的關系。
• HippoRAG 2：通過知識圖譜中的關聯關系，能夠整合“量子計算加速機器學習算法”等相關信息，生成更準確的回答。

2.5 動態適應復雜查詢

復雜查詢通常涉及多個子問題或隱含條件，傳統 RAG 系統難以全面解析。長期記憶機制能夠分層次解析復雜查詢，逐步拆解并回答每個子問題，同時通過上下文感知能力理解查詢中的隱含條件，生成更符合用戶意圖的回答。

示例：

• 查詢：“如果特斯拉在中國建廠，會對美國本土的就業市場產生什么影響？”
• 傳統 RAG：可能只能回答“特斯拉在中國建廠”或“美國就業市場”的孤立信息，無法連接兩者之間的關系。
• HippoRAG 2：通過長期記憶機制，能夠整合“特斯拉全球供應鏈”、“中國制造業成本優勢”、“美國就業市場數據”等多維度信息，生成更全面的回答。

3. HippoRAG 2 解決的問題：從持續學習到關聯性捕捉

3.1 持續學習的挑戰

大語言模型在持續學習方面面臨兩大挑戰：

• 新知識的吸收：模型難以高效地整合新知識。
• 災難性遺忘：模型在學習新知識時容易遺忘舊知識。

3.2 傳統 RAG 的局限性

盡管 RAG 已成為向 LLMs 引入新信息的主流方法，但其依賴向量檢索的方式存在以下問題：

• 意義理解不足：難以解析復雜上下文。
• 關聯性捕捉有限：無法有效連接分散的知識片段。
• 信息整合能力弱：現有 RAG 方法在處理多段落信息時表現不佳。

3.3 結構化增強 RAG 的權衡

現有的結構化增強 RAG 方法（如 GraphRAG、RAPTOR 等）雖然提升了意義理解和關聯性，但在基礎事實記憶任務上往往表現不佳。例如，HippoRAG 在大規模語篇理解任務上表現下降，而 RAPTOR 在簡單和多跳問答任務上因噪聲引入而性能大幅下降。

4. HippoRAG 2 的解決方案：神經生物學啟發的創新設計

HippoRAG 2 通過以下關鍵改進解決了上述問題：

4.1 密集-稀疏信息整合

HippoRAG 2 將概念和上下文信息無縫整合到一個開放的**知識圖譜（KG）**中，增強了索引的全面性和原子性。具體來說，它將短語節點作為概念的稀疏編碼，并將密集編碼（段落）整合到 KG 中，通過“包含”關系連接段落和短語。

4.2 更深層次的上下文感知

HippoRAG 2 利用 KG 結構實現更上下文感知的檢索，而不僅僅依賴命名實體識別（NER）。它采用“查詢到三元組”方法，通過整個查詢鏈接 KG 中的三元組，從而更全面地理解查詢意圖。

4.3 識別記憶

HippoRAG 2 引入了識別記憶機制，通過 LLM 過濾檢索到的三元組，確保其相關性。這一過程分為兩步：

1. 查詢到三元組：使用嵌入模型檢索 KG 中的 top-k 三元組。
2. 三元組過濾：使用 LLM 過濾三元組并生成最終的三元組集合。

4.4 神經生物學啟發

HippoRAG 2 的設計靈感來自人類長期記憶的結構，其組件模擬了新皮層（LLM）、 海馬旁區（PHR 編碼器） 和 海馬體（開放 KG） 的功能。

4.5 整體流程

HippoRAG 2 的流程分為兩部分：

• 離線索引：從段落中提取三元組并構建 KG。
• 在線檢索：將查詢鏈接到 KG 元素，過濾三元組，并使用個性化 PageRank（PPR）進行上下文感知檢索。

5. 出色的實驗結果：全面超越現有方法

5.1 綜合評估

作者在多個基準上進行了實驗，包括：

• 事實記憶：NaturalQuestions、PopQA。
• 意義理解：NarrativeQA。
• 關聯性：MuSiQue、2Wiki、HotpotQA、LV-Eval。

5.2 卓越性能

HippoRAG 2 在所有基準類別上均優于標準 RAG 和其他結構化增強 RAG 方法。具體來說：

• 在關聯性任務上，HippoRAG 2 比標準 RAG 平均提高了 7 個百分點。
• 在事實記憶和意義理解任務上，HippoRAG 2 不僅沒有性能下降，反而略有提升。

5.3 魯棒性

HippoRAG 2 對不同檢索器和 LLM 表現出極強的魯棒性，無論是開源還是專有 LLM 均可靈活使用。

5.4 關鍵結果

• 問答性能：HippoRAG 2 在多個基準上取得了最高的平均 F1 分數。
• 檢索性能：在檢索任務上，HippoRAG 2 同樣表現優異。

5.5 消融實驗

消融實驗證實，HippoRAG 2 的每個組件都對其性能提升有顯著貢獻。例如，更深層次的上下文感知鏈接方法顯著提高了性能。

HippoRAG 2 顯著超越傳統 RAG 和 GraphRAG 為代表的結構化 RAG 方法

6. 結論：HippoRAG 2 的未來與應用

HippoRAG 2 不僅適用于問答系統和知識管理，還可以廣泛應用于客戶服務、智能推薦和研發輔助等領域。未來，隨著更多企業數據的接入和模型的進一步優化，HippoRAG 2 有望成為企業 AI 基礎設施的核心組件。

7. 參考鏈接

• HippoRAG GitHub 倉庫：包含 HippoRAG 2 的開源代碼和詳細文檔，適合技術開發者深入探索。??https://github.com/OSU-NLP-Group/HippoRAG??
• HippoRAG 2 論文：詳細介紹了 HippoRAG 2 的設計原理和實驗驗證，適合學術研究者和技術愛好者閱讀。??https://arxiv.org/abs/2502.14802??

本文轉載自??非架構??，作者：非架構