本文旨在全面介紹開源框架Titans。Titans是一種為LLM配備受人類啟發的記憶的新架構，它能夠在測試期間進行自我學習和更新。

本文要討論什么內容？

Meta公司努力開發出的CoCoMix（Continuous Concept Mixing：連續概念混合，出自??Jihoon等人2025年發表的論文??，見【引文1】）框架實現了概念學習，即學習單詞背后的概念而不是僅僅預測下一個標記，從而使其具有極強的可操控性和可解釋性。?

但是，依然存在一個核心問題：即使是概念上非常出色的模型，在訓練之后的實際部署中，也可能難以應對細微差別或事實性的回憶挑戰。你可以問一個看似簡單的問題，比如：“在我們之前那場涉及200萬個標記的對話中，我們在哪里討論過匹諾曹那出了名的不斷增長的鼻子？”無論LLM的概念能力多么強，如果答案超出了它的上下文范圍，它就無法回答這個簡單的問題。

那么問題來了：我們能否在推理過程中為這些智能LLM配備適應性強的“記憶”或性能提升呢？

1. 基礎問題：Transformer

Transformer（出自??Vaswani等人2017年發表的論文??，見【引文2】）在現代人工智能領域已變得無處不在。自其取得突破性成功以來，它已成為各領域的首選架構。?

回想2020年，人們對任何機器學習問題的默認反應往往是“把注意力集中到它上面”——令人驚訝的是，它確實有效，而且通常表現優于最先進的模型。視覺任務？請使用Transformer（??Dosovitskiy等人2020年發表的論文???，見【引文3】）。時間序列預測？又是Transformer（??Zerveas等人于2021年發表的論文???，見【引文4】）。自然語言處理？Transformer幾乎定義了它（??Rogers等人于2021年發表的論文??，見【引文5】）。?

但是，隨著我們對大型模型的依賴加深以及計算預算的擴大，即使是這種“全能”架構也開始顯示出其局限性——因此，人們開始努力進一步擴展其功能。

存在瓶頸？可以求助于注意力機制的“人人對話”方法。這種方法非常巧妙，但成本卻極其高昂——想象一下，一個房間里有一百萬人，每個人都必須記住與所有人的每一次對話。這限制了Transformer的“工作記憶”——使其記憶變得狹窄，難以進行理解海量文檔所需的“長期回憶”，因為早期信息會逐漸消失。

除了上下文限制之外，普通的Transformer還面臨另一個根本障礙：訓練后缺乏適應性。雖然它們擅長運用海量預訓練知識來預測下一個標記（這是一個復雜的推理和預測過程），但這與真正的學習并不相同。就像谷歌地圖一樣，雖然它會為你找到“最短路徑”，但它會忘記前方有施工路段，讓你沖破路障。而人類向導則會為你指引一條替代的小巷路線。

這種無法從當前正在處理的數據中“即時學習”的能力，對于需要不斷適應或記憶訓練集之外的新經驗的任務來說，是一個嚴重的限制。

下面這張圖解釋了傳統Transformer注意力機制的局限性。其中，頂部展示了一個小型且有限的“注意力窗口”，其中包含t₁-t₆個標記，表明像t₂₀₃這樣的舊標記已被“遺忘”。底部則展示了18個標記的全對全注意力機制，突出顯示了其“O(n2)”的二次成本、計算消耗和資源密集度，并得出結論：它“無法擴展到百萬級以上的上下文窗口”。

當前原始Transformer的眾多問題中的兩個（作者本人繪制）

解決方案？Titans框架！

研究人員沒有僅僅針對單一限制，而是從更廣闊的視角出發：像人腦這樣的智能系統如何管理記憶并適應新情況？這并非關乎擁有一個龐大且隨時可用的記憶體。它其實是一個更靈活的設置，其中不同的組件相互協調，以處理不同類型的信息和經驗。

Meta公司研究人員新研發成功的Titans架構（出自??Behrouz等人于2025年發表的論文??，見【引文6】））就包含了這一點，它不是圍繞單一的整體注意力模塊構建的，而是圍繞一個專門的記憶系統合作團隊構建的，每個系統在理解和響應手頭的任務方面都發揮著至關重要的作用。?

（1）架構組件：內存模塊

• 短期記憶（STM）：這是一種敏銳、注重細節的“專家”。它的功能類似于你所知的注意力，但它不會被過去的一切（現在是LMM的工作）所淹沒，而是專注于當下。這就像你記住了對方剛剛對你說的話，時間剛好夠你回應。?
• 長期記憶模塊（LMM）：這是最令人興奮的新增功能。它旨在在推理過程中學習和適應——沒錯，就是在推理過程中，而且是即時方式！我所說的“適應”字面意思是它的參數會發生變化！想象一下，你多年來一直在理解一位朋友——不斷積累經驗，同時過濾掉不重要的事件。?
• 持久記憶（PM）：此模塊保存著基礎的、特定于任務的知識。這些是模型在主要訓練過程中獲得的可學習的基本見解。這些知識并非即時動態的，但為其他兩個模塊提供了必要的基礎和背景。它就像你的個性、你的舉止、走路或開車的能力，這些你不需要重新學習或改變。

三種記憶模塊：短期記憶（STM）、長期記憶模塊（LMM）和持久記憶（PM）

這張圖展示了三種記憶模塊：短期記憶，表現為一個在“STM/Attention”筆記本電腦前感到壓力的人物，專注于當前情境；長期記憶，表現為一個在“LTM weights”筆記本電腦前面帶微笑的人物，用羽毛筆更新自身，記錄歷史情境；持久記憶，表現為一個平靜的人物，手持石碑，石碑上寫著“預設相同權重”，體現了固定的、與數據無關的任務知識（作者本人繪制此圖）。

（2）這些內存模塊是如何實現的？

那么，這三者究竟是如何協同工作的呢？首先，STM本質上是標準的自注意力計算，它是原生Transformer的核心。它的“記憶”是訓練過程中學習到的鍵值緩存和注意力矩陣。

另一方面，PM是一組可學習的參數，它們被添加到輸入序列的前面，并在訓練過程中學習，并充當模型在推理過程中無論如何都要遵循的“圣杯”。

到目前為止還算容易理解，嗯？接下來，讓我們深入探討其中的創新之處和真正令人興奮的部分。雖然它是作為一個簡單的MLP網絡實現的，但它可以在測試時進行調整——LMM模塊：

（3）Titans框架核心：自適應長期記憶（LMM）模塊

等一下……測試時更新參數？這難道不是只在訓練時才會做的事嗎？這難道不是作弊嗎？

當你聽到“測試時訓練”這個詞時，你是否想到了這些問題？這些問題確實存在，但這并不意味著作弊。Titans利用在線學習和元學習的原理，實現快速、局部的更新，這些更新專門針對記憶，而非一般的任務改進。它在測試時不會查看外部標簽來計算梯度和優化參數；相反，一切都保持獨立：模型僅使用已知信息和當前感知信息進行內部調整。

在人類記憶中，常規和可預測的事件往往會逐漸消失，而意外或令人驚訝的時刻往往會持續存在（來自??Mandler于2014年發表的論文??，見【引文7】）。這是實現動態測試時間更新背后的核心思想。?

LMM如何學習：關聯損失函數

LMM充當聯想記憶：它學習將“鍵”（線索）與“值”（信息）聯系起來。對于每條新數據x_t（MAG和MAL中的輸入塊，MAC中的STM（自注意力機制）輸出）：

• 鍵值提取：系統首先使用可學習的變換（W_k和W_v）將x_t轉換為特定鍵（k_t）和關聯值（v_t）。

使用線性層將x_t映射到k_t和v_t（作者本人繪制）

• 測試LMM：在當前狀態下，對LMM進行“詢問”：給定這個新密鑰k_t，你會預測什么值？我們將其預測稱為p_t。

M_t-1：當前LMM狀態；k_t：當前塊的密鑰（作者本人繪制）

• 計算損失：通過LMM預測的錯誤程度來衡量：

預測輸出與“基本事實”之間的標準MSE損失（作者本人繪制）

梯度和“意外”信號

為了讓LMM從這種損失中學習，我們加入了“驚喜信號”，它能夠衡量模型在看到基本事實（v_t）時的“驚訝”程度。這個“驚喜”在數學上定義為損失函數相對于LMM參數的梯度。

“意外”的測量，即模型與預測“正確的”v_t的距離（作者本人繪制）

考慮到LMM的當前知識，較大的梯度意味著x_t是非常“令人驚訝”或出乎意料的。

基本學習步驟：

LMM學習的最簡單方法是稍微調整其參數以減少這種意外（即減少損失），就像梯度下降中的一步一樣：

M_t：更新后的LMM參數；M_t-1：之前的LMM參數；lr：學習率（作者本人繪制）

細化驚喜：利用動量和遺忘實現更智能的學習

僅僅對眼前的“驚喜”做出反應是不夠的。良好的記憶力不僅需要洞察趨勢，還必須知道何時放棄舊的、不相關的信息。

智能學習方向(ΔΘM_t)：首先，LMM計算出調整其參數的最佳方向。這不僅基于當前的意外，還基于對近期意外的“記憶”。

參數變化是根據之前的變化和當前的意外情況計算得出的（作者本人繪制）

• ΔΘ^M_t：LMM參數的建議變更。?
• η_t*ΔΘ^M_t-1：這是動量 ——它延續了上一步的學習趨勢。η_t（數據相關）決定了過去動量的持續時間。?
• θ_t*?Loss_current_surprise：這是當前意外的影響。θ_t（數據相關）衡量其影響力。最終參數更新（Θ^M_t）：然后，LMM更新其實際參數，將舊知識與新的學習方向相結合，并且至關重要的是，允許“遺忘”。

最終更新包括更新多少以及保留多少（作者本人繪制）

• Θ^M_t：從x_t學習后的LMM的新參數。?
• (1—a_t)*Θ^M_t-1：這是保留了多少舊LMM狀態。a_t（依賴于數據，介于0和1之間）是遺忘因子 -如果a_t很高，則會遺忘更多的舊狀態。?
• ΔΘ^M_t：上面計算的智能學習方向。?

下圖展示了LTM模塊的更新過程。分塊輸入序列（例如STM輸出）被投影到鍵向量和值向量中。鍵向量在LTM模塊中進行前向傳遞，并與值向量一起計算損失。該損失的梯度（通過不帶更新的后向傳遞）通過加權和與動量緩沖區中存儲的先前更新相結合。組合后的更新經過“遺忘”門，該門確定LTM的新權重。

整個LMM更新過程的可視化（作者本人繪制）

簡而言之：

LMM會查看當前數據的“意外情況”（?Loss_current_surprise），將其與近期的學習趨勢（momentumΔΘ^M_t-1）相融合，然后更新其內部知識（Θ^M_t），并決定在此過程中保留或丟棄多少舊信息（a_t）。數據依賴門控（η_t，θ_t，a_t）使其能夠動態自適應。

（4）Titans的架構藍圖：記憶在行動

谷歌研究人員探索了這三個內存模塊的三種主要排列方式：

記憶作為情境（MAC）

在這種設置中，Titans為STM（標準自注意力塊）創建了一個增強且更豐富的環境。

• 非常長的輸入序列被分成多個段或塊。?
• 在處理時，模型將塊映射到查詢，并使用它來從LMM中檢索相關的歷史上下文（查詢經過LMM，其輸出是歷史上下文）。?
• 然后將這些檢索到的歷史標記與靜態持久內存標記和當前段標記連接起來。?
• 整個擴展序列（持久＋歷史＋當前）被輸入到STM（注意力）層，該層處理這個大型組合上下文中的關系。?
• 注意力層的輸出反映了對當前數據考慮到歷史和任務知識的深刻理解，然后將其用作LMM動態參數更新過程的輸入數據。?
• 使用相同的注意力結果再次查詢更新后的LMM，然后通過門控總和或部分連接將其響應與原始注意力相結合以產生最終結果。?

類比：文本（序列）以頁面（塊）的形式呈現。對于每一頁，不斷學習的筆記記錄者（LMM）會快速從過去的筆記中找到相關的摘要，并將其與重要的“規則手冊”筆記（PM）進行混合。學生（STM/注意力）會閱讀整篇文章——規則手冊、相關的過去摘要以及當前頁面——并根據從豐富的上下文中學習到的知識，準確地告訴筆記記錄者當前頁面上哪些要點對于將來的總結至關重要。

最終答案的形成是基于學生的詳細閱讀和筆記記錄者更新后的記憶視角的綜合考慮。

下圖展示的是記憶即語境（MAC）架構圖。分塊輸入向LMM查詢歷史語境。結合持久記憶，這為注意力模塊（STM）構建了一個“更豐富的語境”。注意力模塊的輸出更新LMM，并與更新后的LMM輸出相結合，形成最終結果。

MAC架構可視化（作者本人繪制）

記憶之門（MAG）

該設計以不同的方式并行集成存儲器，通過動態門混合來自STM和LMM輸出的信息。

• 輸入序列（持久序列＋當前序列）被輸入到兩條路徑：?一條路徑通往STM，此處使用滑動窗口注意力機制實現，使其能夠聚焦于每個符號周圍的局部鄰域。
  另一條并行路徑通往LMM網絡。?
• LMM的輸入用于動態更新其參數，并生成相應的輸出表示。?
• 然后，STM（滑動窗口注意力機制）的輸出和LMM前向傳遞的輸出會通過一個門控機制。該門控機制會學習在局部注意力機制的信息和LMM的狀態/輸出所代表的信息之間進行混合或選擇。?
• 該門控機制的輸出是該令牌位置的最終輸出。?

打個比方：每收到一頁紙，兩個任務就會同時進行：學生（STM）專注于眼前的那一頁，而獨立的筆記記錄者（LMM）則通讀當前頁面，并將其與目前為止所見的內容聯系起來，默默地更新其整體理解。學生根據段落給出答案，而筆記記錄者則根據其不斷發展的宏觀框架提出想法。

協調者（門控機制）只需將兩個輸出融合或從中挑選，即可得出最終答案。

以下給出內存即門控（MAG）架構示意圖。分塊輸入序列與持久內存令牌組合。該增強序列同時查詢LMM模塊（也用于更新）和注意力模塊（STM）。然后，LMM分支和STM分支的輸出通過門控和進行組合，以生成最終輸出。

MAG架構可視化（作者本人繪制）

記憶層（MAL）

在這個變體中，LMM網絡被用作初始處理層，在序列到達注意力機制（STM）之前對其進行修改。

• 輸入序列（仍然使用“持久＋當前”方式）首先作為不同的層通過LMM網絡。?
• 當LMM網絡逐塊處理序列時，其參數會動態更新。它還會生成一個變換后的輸出序列。?
• 然后，將LMM層的轉換輸出序列用作后續STM（注意力）層（滑動窗口或窗口內完全注意力）的輸入。?
• Attention層的輸出是該序列的模型的最終輸出。?

打個比方：首先，每一頁新內容都會直接發送給主筆記員（LMM），LMM會處理所有內容，并不斷總結和更新其總結風格。之后，這份（可能細節較少的）總結會被交給學生（STM）。學生只會看到并關注總結文本的局部內容，他們的答案完全基于主筆記員提供的內容。

下圖展示的是記憶即層（MAL）架構圖。一個以持久記憶標記開頭的分塊輸入序列被送入LMM模塊進行查詢和更新。LMM的輸出隨后作為注意力模塊（STM）的輸入（查詢），STM產生最終輸出。

MAL架構可視化（作者本人繪制）

3. 我們從中獲得了什么？結果和發現

那么，現在我們對Transformer之后的下一個革命性技術已經了如指掌，但它真的會那么偉大嗎？谷歌的研究人員真的破解了能夠記憶、適應并克服此前被認為不可能的挑戰的模型密碼嗎？讓我們逐一回顧一下這些新發現：

語言能力：不僅僅是文字

Titans框架的功能遠不止于更準確地預測下一個單詞。得益于其動態長期記憶模塊（LMM），它展現出對語言和語境更深入、更直觀的理解。與Transformer++等強大的基準模型以及一些最新的循環模型相比，Titans框架的表現始終優于它們，不僅在語言建模方面，在常識推理任務上也同樣如此。

（來源：改編自??Behrouz等人于2025年發表的論文??，表1）?

Titans在常識和推理任務上的表現（混合情況下使用：MAC、MAG、MAL；簡單情況下使用：LMM）

大海撈針挑戰

Titans框架的設計在S-NIAH任務中展現出卓越的性能連續性，這與RULER基準測試（??Hsieh等人于2024年發表的論文??，見【引文8】）相符，該基準測試旨在評估有效的上下文長度。Titans模型（包括獨立的神經記憶模型LMM）即使在16K個標記的情況下也能保持強勁的檢索率，而一些最先進的循環模型的準確率則隨著序列長度的增加而急劇下降。?

（來源：B??ehrouz等人于2025年發表的論文??，表2）?

Titans（混合情況下使用：MAC、MAG、MAL；簡單情況下使用：LMM）在RULER的S-NIAH任務上的表現（出自??Hsieh等人于2024年發表的論文??，見【引文8】）?

在BABILong中掌握復雜推理

檢索事實是一回事。但如何運用多個事實，并跨越海量上下文進行推理呢？這才是真正的考驗，也正是BABILong基準測試（來自??YuryKuratov等人于2024年發表的論文??，見【引文9】）的要求。Titans（尤其是MAC架構）不僅表現出色，而且超越了所有模型。即使是像GPT-4和Llama3.1-70B這樣的大型模型，即使是那些能夠訪問外部工具或檢索系統的模型，Titans最大的模型參數量也高達7.6億！?

除此之外，Titans（MAC混合架構）即使在1000萬個標記的情況下也能達到70%的準確率。換個角度來看，這就像在整個《哈利·波特》系列中導航和尋找拼圖碎片……甚至還多10倍。

（來源：??Behrouz等人于2025年發表的論文??，圖6）?

BABILong上不同LLM的準確率與序列長度圖（出自??Yury Kuratov等人于2024年發表的論文??，見【引文9】）?

內存深度與速度

研究人員探索了通過堆疊更多層來加深長期記憶模塊（LMM）時會發生什么。結果如何？更深層的LMM顯著提升了其存儲和組織重要信息的能力，使其更不容易忘記關鍵細節，尤其是在大多數模型難以保持上下文的長序列中。

雖然LMM本身能夠獲得線性時間復雜度，從而高效處理大量輸入，但更深的LMM確實需要付出一些代價：吞吐量降低，或者每秒處理的令牌更少。

下面的折線圖展示了不同深度（L_M=1、2、3、4）的LMM模型的訓練吞吐量（103標記/秒）與序列長度的關系。所有LMM變體均表現出幾乎恒定的吞吐量，無論序列長度如何，這表明吞吐量呈線性增長。然而，較深的LMM（L_M=3和L_M=4）的吞吐量逐漸低于較淺的LMM（L_M=1和L_M=2），這表明隨著內存深度的增加，效率會有所降低。

（來源：??Behrouz等人于2025年發表的論文??，圖8）?

不同LMM深度的序列長度與吞吐量

超越語言任務

另一個令人興奮的事實是，同樣的記憶機制在傳統語言任務之外也能發揮作用。在時間序列預測（一個以混亂、變化的模式而聞名的領域）中，長期記憶模塊（LMM）的表現足以匹敵高度專業化的模型，包括那些基于Mamba（之前的SOTA）的模型。

在DNA建模這項完全不同的任務中，該架構表現出了強大的效果。這種通用性實屬不易，這表明，如果處理得當，記憶不僅有用，而且是跨領域的基礎。

（來源：改編自??Behrouz等人于2025年發表的論文??，表3）?

神經記憶（以LMM為模型）在各種時間序列數據集上的表現

（來源：??Behrouz等人于2025年發表的論文??，表4）?

神經記憶模塊（LMM作為模型）在基因組基準上的表現（??Gre?ová等人于2023年發表的論文??，見【引文10】）?

4. 結論和最終想法

本次對Titans的深入研究就到此結束。探索這種架構真的非常有趣——看到研究超越了規模化，深入探究記憶和學習如何以更具適應性、更像人類的方式運作，令人耳目一新。

谷歌的基礎性工作傳承在此延續，從發明Transformer到現在重新思考AI如何在推理過程中學習。Titans仿佛是這種精神的自然演進。

話雖如此，如今的AI領域比2017年更加擁擠了。無論多么精彩的新想法，要成為主流都面臨著更加艱難的道路。性能只是其中之一——效率、簡潔性和社區影響力比以往任何時候都更加重要。

盡管如此，Titans有力地預示著未來模型將不再僅僅基于已知知識進行思考，而是能夠真正地在實踐中適應。無論這是否會成為下一個“只需關注”的時刻，這都是邁向更智能、更智慧的AI的充滿希望的一步。

參考文獻

【1】Tack，Jihoon等人，“??使用連續概念進行LLM預訓練??。”（2025）arXiv預印本 arXiv:2502.08524。?

【2】Vaswani，Ashish等人，“??你只需要注意力??。”（2017），神經信息處理系統的進展30。?

【3】Dosovitskiy，Alexey等人，“??一張圖片勝過16×16個單詞：用于大規模圖像識別的Transformers??。”（2020），arXiv預印本 arXiv:2010.11929。?

【4】Zerveas，George等人，“??基于Transformer的多元時間序列表示學習框架??。”(2021)，第27屆ACM SIGKDD知識發現與數據挖掘會議論文集。?

【5】Rogers，Anna等人，“??BERTology入門：我們對BERT工作原理的了解??。”（2021年），計算語言學協會匯刊8：842–866。?

【6】Behrouz，Ali、Peilin Zhong和Vahab Mirrokni。“??Titans：學習在考試時記憶??。”（2024年），arXiv預印本 arXiv:2501.00663。?

【7】Mandler，George。“??情感與認知??”（2014年）。心理學出版社，3–36。?

【8】Hsieh，Cheng-Ping等人，“??RULER：長上下文語言模型的真實上下文大小是多少？??”，載于：第一屆語言建模會議。2024年。?

【9】Kuratov，Yury等人。“??Babilong：用大海撈針的長上下文推理測試LLMS的極限??。”（2024），神經信息處理系統進展，37：106519–106554。?

【10】Gre?ová，Katarína等人，“??基因組基準：基因組序列分類數據集集合??。”（2023）BMC基因組數據，24.1：25。?

譯者介紹

朱先忠，51CTO社區編輯，51CTO專家博客、講師，濰坊一所高校計算機教師，自由編程界老兵一枚。

原文標題：??Can AI Truly Develop a Memory That Adapts Like Ours???，作者：Moulik Gupta