當AI不再只是“即興發揮”的對話者，而開始擁有“記憶力”——我們該如何重新定義智能？

來自香港中文大學、愛丁堡大學、香港科技大學與華為愛丁堡研究中心的研究團隊聯合發布了一項關于AI記憶機制的系統性綜述，旨在在大模型時代背景下，重新審視并系統化理解智能體的記憶構建與演化路徑。

大語言模型（LLMs）正快速從純文本生成工具演化為具有長期交互能力的智能體。

這一轉變對模型的“記憶能力”提出了更高的要求——不僅要能即時理解上下文，還需具備跨輪對話、多模態輸入、個性化偏好等長期記憶機制。

然而，目前關于AI記憶系統的研究尚未形成統一清晰的框架，特別是缺乏對記憶機制底層原子操作的系統化理解。

本綜述首次從操作與表示兩個維度出發，系統構建AI記憶的研究框架。

作者將AI中的記憶表示劃分為參數化記憶與上下文記憶兩大類，并提出六種基本記憶操作：鞏固（Consolidation）、更新（Updating）、索引（Indexing）、遺忘（Forgetting）、檢索（Retrieval）與壓縮（Compression）。

這些原子操作不僅揭示了AI記憶系統的內部機制，也為系統性能優化和長期一致性提供理論支持。

作者進一步將這些操作映射到四類關鍵研究主題：長期記憶（long-term memory）、長上下文建模（long-context modeling）、參數記憶修改（parametric memory modification）與多源記憶融合（multi-source memory integration）。

通過這一結構化視角，本綜述系統梳理了相關的研究方向、評測數據集與工具，明確了LLMs智能體中的記憶功能協同機制，并為未來研究提供了清晰的路徑指引。

記憶分類

參數化記憶 (Parametric Memory)指的是隱含存儲于模型內部參數中的知識。這些知識通過預訓練或后訓練過程獲得，嵌入在模型權重中，在推理階段通過前向傳播訪問。

它作為一種即時、長期且持續存在的記憶形式，使模型能夠快速、無需上下文地檢索事實性和常識性知識。

然而，這類記憶缺乏可解釋性，也難以針對新經驗或特定任務場景進行選擇性更新。

上下文記憶 (Contextual Memory)是指顯式的、外部的信息，用于補充語言模型內部的參數知識，可進一步劃分為兩種形態：

• 非結構化上下文記憶一種面向多模態的顯式記憶系統，支持跨異構輸入的信息存儲與檢索，包括文本、圖像、音頻和視頻等。它能夠幫助智能體將推理過程與感知信號相結合，整合多模態上下文信息。根據時間尺度不同，非結構化記憶可分為短期（如當前對話輪的上下文）和長期（如跨會話的歷史記錄與個性化知識）。
• 結構化上下文記憶指將記憶內容組織為預定義、可解釋的格式或結構（如知識圖譜、關系表或本體）。這類記憶具備可查詢性和符號推理能力，常作為預訓練語言模型聯想能力的有益補充。結構化記憶既可以在推理時動態構建以支持局部推理，也可跨會話持久保存高質量知識。

記憶的原子操作

為了使AI系統中的記憶超越靜態存儲、實現動態演化，模型必須具備一系列管理與利用記憶的基本操作能力。這些操作可劃分為兩大類功能模塊：記憶管理（Memory Management）與記憶利用（Memory Utilization）。

 記憶管理（Memory Management）

記憶管理操作控制信息的存儲、維護與裁剪，是確保系統記憶隨著時間推移合理演化的核心機制，包括以下四類操作：

• 鞏固（Consolidation）將短期經驗轉化為持久性記憶，如將對話軌跡或交互事件編碼為模型參數、圖譜或知識庫。是持續學習、個性化建模和外部記憶構建的關鍵。
• 索引（Indexing）構建實體、屬性等輔助索引，提升存儲信息的檢索效率與結構化程度。支持神經、符號與混合記憶的可擴展訪問。
• 更新（Updating）基于新知識對已有記憶進行激活與修改，適用于參數內存中的定位與編輯，也包括對上下文記憶的摘要、修剪與重構。
• 遺忘（Forgetting）有選擇地抑制或移除過時、無效甚至有害的記憶內容。包括參數記憶中的“遺忘訓練”機制與上下文記憶中的時間刪除或語義過濾。

 記憶利用（Memory Utilization）

記憶利用指模型如何在推理過程中調用和使用已存儲的信息，包括以下兩類操作：

• 檢索（Retrieval）根據輸入（查詢、對話上下文或多模態內容）識別與訪問相關記憶片段，支持跨源、跨模態甚至跨參數的記憶調用。
• 壓縮（Compression）在上下文窗口有限的條件下保留關鍵信息、丟棄冗余內容，以提高記憶利用效率。可在輸入前進行（如摘要預處理），也可在檢索后進行（如生成前壓縮或融合進模型）。

這些操作既是記憶系統動態運行的基礎，也引入了數據中毒、誤更新等潛在風險，提示未來在記憶生命周期安全性方面的研究必要性。

記憶的關鍵主題

為了進一步落實記憶操作與表示框架，作者探討了實際系統中這些操作如何協同運行，進而支持多樣化、動態化的記憶使用模式。

例如，在多輪對話系統中，檢索增強生成（RAG）框架廣泛采用更新、索引、檢索和壓縮等操作，以維持跨會話記憶并提升響應質量 。

而另一些系統則將長期記憶顯式編碼為超長上下文輸入，對檢索與壓縮操作尤為依賴。

基于這些實際用例，作者將AI記憶研究劃分為以下四個核心主題，分別從時間，空間，模型內部狀態，模態四個緯度體現出特定操作組合的模式與挑戰：

• 長期記憶（Long-Term Memory）跨越所有記憶類型，強調跨會話的記憶管理、個性化與推理支持，尤其關注時間結構建模與多輪對話中的持久知識演化；
• 長上下文記憶（Long-Context Memory）主要關聯非結構化上下文記憶，關注參數效率（如KV緩存裁剪）與上下文利用效率（如長上下文壓縮);
• 參數化記憶修改（Parametric Memory Modification）特指對模型內部知識的動態重寫，涵蓋模型編輯、遺忘機制與持續學習策略；
• 多源記憶整合（Multi-Source Memory）強調對異構文本來源和多模態輸入（如視覺、音頻）的統一建模，以提升復雜場景下的穩健性與語義理解。

為系統梳理AI記憶研究的演化趨勢，作者基于統一的分類框架構建了一套大規模文獻評估流程，覆蓋2022至2025年間 NeurIPS、ICLR、ICML、ACL、EMNLP 和 NAACL 的三萬余篇論文。

通過GPT驅動的主題相關性打分系統，初步篩選出近四千篇潛在相關研究，并結合人工審核進一步精煉文獻集。

為衡量文獻影響力，作者提出了相對引用指數（RCI, Relative Citation Index），借鑒醫學領域的 RCR 思路，對引用量進行時間歸一化，衡量論文在同期中的相對被引水平，從而避免“早發表多引用”帶來的偏差。

RCI 有助于識別階段性重要成果，并支撐代表性研究與發展趨勢的深入分析。這一體系不僅揭示了當前記憶研究的重點分布，也為構建更強大、可控的記憶增強型系統提供了系統性理論支持與路徑指引。

作者不僅展示了這些主題與記憶類型之間的對應關系，也進一步總結了每類研究中典型的記憶操作模式。

作者同時在文中附錄總結了各類主題研究的代表方法、基準數據與評估指標，涵蓋操作支持范圍、實驗評估標準與實際應用場景，為研究者提供完整的參考框架。

長期記憶

長期記憶（Long-term Memory）是支撐AI系統進行跨輪推理、個性化生成與動態決策的關鍵能力。

相比于短期上下文窗口，長期記憶能夠跨越會話邊界，持續積累與調取歷史交互、環境觀察和用戶偏好等信息，從而構建更具一致性和適應性的智能行為模式。

本節圍繞長期記憶的運行機制，系統梳理了其關鍵操作與利用路徑，覆蓋“記憶管理—壓縮—生成”的完整流程。

在記憶管理層面，作者總結了四類基礎操作。

鞏固（Consolidation）用于將短期交互轉化為長期存儲內容，支撐記憶的可持續使用；索引（Indexing）構建結構化、可查詢的訪問路徑以提升檢索效率；更新（Updating）通過融合新知與重構結構實現記憶內容的迭代演化；遺忘（Forgetting）則以內容剔除或抽象壓縮的方式清除冗余、無效或敏感信息，保障系統穩定性和資源可控性。

當前主流系統已開始通過圖譜建模、時間標注與用戶反饋機制等方式模擬上述操作，以支持更為動態和人類類比的記憶演化過程。

在記憶利用層面，作者提出“檢索–壓縮–生成”三階段聯動機制。

其中，記憶檢索（Retrieval）旨在從長期存儲中篩選與當前輸入最相關的信息，可基于查詢改寫、結構匹配或事件時間線進行匹配優化。

緊接其后的記憶壓縮（Compression）作為連接檢索與生成的橋梁，不僅承擔內容篩選與信息重構任務，更統攝了兩個關鍵子過程：

記憶集成（Integration）：即將多個檢索片段整合為統一上下文表征，以供模型高效解碼；記憶驅動生成（Grounded Generation）：即在推理過程中借助已整合的記憶引導語言生成，確保輸出與歷史上下文保持一致。

無論是靜態拼接、多輪追蹤，還是跨模態融合，這一系列操作都可歸入壓縮機制下的結構優化與信息篩選框架中。

盡管檢索性能在多個任務中已趨近飽和，但壓縮過程仍是系統性能的主要瓶頸，尤其在多輪對話、任務遷移和一致性建模等方面面臨挑戰。

個性化是長期記憶的重要應用方向。作者將現有方法歸為兩大類：

一類是模型級適配（Model-level Adaptation），通過輕量調參或模塊化組件將用戶偏好編碼進模型參數中；

另一類是外部記憶增強（External Memory Augmentation），通過調用結構化知識圖譜、用戶畫像或非結構化歷史對話，在推理時動態集成用戶相關信息。

兩類方法各具優勢，前者強調高效部署與任務泛化，后者突出可解釋性與個體一致性，正逐步走向融合。

在評估層面，當前主流基準仍多聚焦于檢索準確率或靜態問答性能，對動態記憶操作（如更新、遺忘、鞏固）及其時間適應能力的評估仍顯不足。

為此，作者提出了相對引用指數（RCI）這一新型指標，對2022至2025年間的高相關研究進行時間歸一化的影響力分析。

通過結合RCI得分與研究主題，作者進一步揭示了不同記憶類型、任務范式與操作機制在AI長期記憶研究中的關注分布和演化趨勢。

長上下文記憶

長上下文機制是大語言模型中記憶系統的重要組成部分，尤其在缺乏長期外部存儲的場景下，承擔著臨時信息保持與動態推理的記憶功能。

它通過在超長輸入序列中存儲與調取歷史交互、外部文檔或用戶信息，為AI系統提供跨段、跨輪的記憶支撐。

盡管當前模型架構和訓練技術已使得輸入長度延伸至百萬級tokens，如何有效管理這些上下文并確保信息可用性，仍是關鍵挑戰。

這些挑戰主要體現在兩個方面：

一是參數記憶效率（Parametric Efficiency），即如何優化KV緩存以支持高效長文本處理；二是上下文記憶利用（Contextual Utilization），即如何在有限窗口中選擇、壓縮并集成多源信息，發揮“上下文記憶”的推理作用。

具體來說，KV緩存優化涉及裁剪、壓縮與檢索策略，力圖在最小化計算開銷的同時保留必要信息。

而上下文利用則涵蓋檢索、壓縮、集成與生成等核心記憶操作，廣泛應用于多輪對話、長文閱讀與多模態推理任務。

作者指出，這些上下文機制本質上是構建“即時記憶”與“短期推理緩存”的技術路徑，是當前AI記憶系統中不可或缺的一環。

結合RCI引用指數的分析，作者發現KV緩存壓縮優化在ML社區尤為活躍，而上下文壓縮與檢索則是NLP領域的研究重點。

盡管相關工作已有初步成果，但在面對多源、跨模態、任務特定的復雜記憶場景時，長上下文記憶的組織與調用方式仍顯不足，值得作為未來AI記憶系統構建的重要方向加以深入探索。

參數記憶修改

參數化記憶作為大語言模型中隱式編碼的知識載體，是實現長期知識保持與快速調用的核心形式。

隨著大模型逐步走向開放世界環境與個性化應用場景，如何在不重新訓練模型的前提下，動態調控內部知識表征成為關鍵挑戰。

本節從“編輯（Editing）、遺忘（Unlearning）、持續學習（Continual Learning）”三類操作出發，系統梳理了近期關于參數化記憶修改的研究進展。

編輯類方法旨在對模型中的特定記憶進行精準定位與修改，主流策略包括定位再編輯、元學習驅動、提示引導與外參模塊等，應用廣泛于實體更正與知識糾錯任務；

遺忘方法則聚焦于選擇性地移除敏感或錯誤知識，實現記憶擦除的同時保留其他無關內容，方法涵蓋額外模塊插入、目標函數設計與輸入操控等路徑；

持續學習方法通過正則化或回放機制，實現新知識的漸進融合與災難遺忘的緩解，適用于動態任務和多階段訓練設置。

作者進一步在三個方面進行了深入討論：

• 性能表現分析：不同方法在CounterFact、ZsRE與ToFU基準上展示了不同的權衡格局，提示“特異性建模”與“持續性挑戰”仍是后續研究重點；
• 可擴展性評估：當前大多數非提示法仍受限于模型規模與計算資源，在大模型上的大規模修改能力亟待提升；
• 影響力趨勢（RCI分析）：編輯方法關注度高、落地豐富，而遺忘方法雖數量較少，但在“訓練目標”和“附加參數”等方向展現出良好影響潛力。

綜上，作者強調：

參數記憶不僅是模型知識調控的關鍵接口，也是未來智能體學習能力延展的基礎模塊，值得圍繞“表達粒度、多輪積累、語義泛化”等方向持續深入探索。

多源記憶

多源記憶是構建現實世界智能體的核心機制。

現代AI系統需融合內在的參數化知識與多樣化的外部記憶，包括結構化數據（如知識圖譜、數據庫）與非結構化多模態信息（如文本、圖像、語音、視頻），以支撐復雜任務中的推理一致性、響應可信度與信息可追溯性。

本節圍繞兩大核心挑戰——跨文本整合與多模態協調，系統梳理了當前主流方法與研究趨勢。

在跨文本整合方面，研究主要聚焦于兩類任務：

其一是多源融合，通過符號–神經混合推理、結構與非結構協同召回以及鏈式推理機制，推動參數化記憶與外部知識之間的深度對接；其二是沖突處理，強調在整合異構信息時進行顯式的來源歸因與一致性驗證，避免事實漂移與語義沖突。代表性工作涵蓋上下文沖突檢測、知識可信度調控與沖突消解等策略。

在多模態協調方面，研究路徑沿三大方向逐步拓展：

模態融合策略從聯合嵌入與提示級融合發展到基于圖結構的可控對齊；模態檢索從靜態相似度匹配演進為時間感知與意圖驅動的動態召回；時間建模則成為支撐多輪交互與任務延續的關鍵，涌現出如 WorldMem 與 E-Agent 等具備自維護能力的系統，能夠實現多模態記憶的持續壓縮、索引與更新，從而完成從“被動調用”向“主動演化”的范式轉變。

RCI 統計顯示，跨文本推理仍是當前多源記憶研究的主要陣地，尤其在結構化與非結構化知識整合方面方法體系日益成熟；

與此同時，多模態協調研究也快速興起，在融合、檢索與時序建模方向表現出顯著影響力。

盡管如此，當前系統在沖突檢測與跨源一致性建模方面仍存顯著空缺。

未來的研究應致力于構建具備沖突感知、動態演化與時間一致性控制能力的統一多源記憶體系，以支撐真實環境中長期、多模態、多任務的智能交互。

記憶的實際應用

隨著AI系統從靜態對話走向動態交互、長期適應與多模態融合，記憶集成正成為支撐各類現實應用的核心機制。

無論是編碼通用知識的參數化模型（如編程助手、醫學/法律問答）、追蹤用戶偏好的上下文系統（如健康陪伴與個性化推薦）、還是執行復雜任務的結構化智能體（如會議助理、代碼伴侶）——都依賴于對結構化、非結構化與多模態記憶的統一調用。

代表性產品如ChatGPT、GitHub Copilot、Replika、Amazon推薦系統與騰訊 ima.copilot，體現了記憶驅動AI從“任務工具”向“長期伙伴”的范式轉變。

在工具層面，記憶增強系統逐步構建出從底層組件（向量數據庫、檢索器、LLM）到操作框架（LangChain、LlamaIndex、Graphiti）再到完整服務平臺（Mem0、Zep、Memary）的生態體系。

它們支撐長期上下文管理、個體狀態建模、知識保持與行為調節等關鍵能力，并正推動“記憶即服務”的工程化實現。

作者在附錄中詳盡的分析了記憶相關的組件，框架，服務以及產品。

人類 vs. AI：記憶系統對照

作者進一步詳細分析了人類與人工智能系統的記憶的相似點和不同點。

具體來說，二者在機制雖然在功能上高度趨同——都支持學習、推理與決策，并在多時間尺度上組織信息——但其底層實現卻體現出本質本別。

但在人類大腦中，記憶由神經網絡隱式編碼，依賴情緒、語境和聯想觸發，更新常常間接且帶有偏誤。

而在AI系統中，記憶可以是顯式存儲的結構化數據或模型參數，通過檢索、重寫或壓縮策略高效更新，具有可追蹤與可編程性。

兩者在以下關鍵維度上差異顯著：

• 存儲結構生物分布式 vs. 模塊化/參數化
• 鞏固機制被動慢速整合（睡眠等生理機制）vs. 顯式快速寫入（策略驅動、可選擇）
• 索引方式稀疏聯想激活（海馬體驅動）vs. 嵌入索引或鍵值查找
• 更新方式重構式再鞏固 vs. 精準定位與編輯
• 遺忘機制自然衰減 vs. 策略刪除與可控擦除
• 檢索機制聯想觸發 vs. 查詢驅動
• 可壓縮性隱式提煉 vs. 顯式裁剪與量化
• 所有權屬性私有與不可共享 vs. 可復制與可廣播
• 容量邊界生物限制 vs. 受存儲與計算資源約束，接近于無限擴展

AI記憶系統的未來藍圖：從操作瓶頸到認知躍遷

要構建真正具備長期適應、跨模態理解與個性化推理能力的AI系統，記憶機制必須邁向新一輪突破。

本研究基于RCI分析與最新趨勢，系統梳理了記憶增強AI的未來關鍵方向：

在該文提及的主題層面，當前AI系統仍面臨一些關鍵挑戰：長期記憶缺乏統一評估，導致檢索內容與生成輸出脫節；長上下文建模難以兼顧效率與表達能力；參數化記憶的修改與擦除機制缺乏控制力與可擴展性；多源記憶融合中普遍存在沖突、不一致與壓縮瓶頸。

在前沿視角上，研究者正積極探索更具人類認知特征的機制：如何構建支持時間感知的時空記憶？如何實現從模型參數中直接“檢索知識”？如何融合結構化、非結構化與向量記憶實現持續學習？作者也從類腦架構中獲得啟示——雙通道鞏固、層級抽象、有限容量與再激活機制為AI提供了新的記憶組織范式。

此外，統一表示體系、群體記憶架構與安全可控的忘憶機制也日益重要。AI系統正從“有記憶”走向“會使用記憶”，而未來的智能體必須具備自我維護、可解釋、可協同的全鏈條記憶能力。

論文地址：https://arxiv.org/abs/2505.00675

Github地址：https://github.com/Elvin-Yiming-Du/Survey_Memory_in_AI