Django框架的創(chuàng)始人之一、著名開(kāi)發(fā)者Simon Willison最近發(fā)表了一篇博客文章，核心觀點(diǎn)是——雖然很多LLM看起來(lái)有記憶，但本質(zhì)上是無(wú)狀態(tài)函數(shù)。

文章地址：https://simonwillison.net/2024/May/29/training-not-chatting/

Mozilla和FireFox的聯(lián)合創(chuàng)始人、JavaScript發(fā)明者Brendan Eich也在推特上稱贊這篇博客。

似乎有記憶的LLM

從計(jì)算機(jī)科學(xué)的角度來(lái)看，最好將LLM的推理過(guò)程視為無(wú)狀態(tài)函數(shù)調(diào)用——給定輸入文本，它會(huì)輸出接下來(lái)應(yīng)該做什么。

然而使用過(guò)ChatGPT或者Gemini的人會(huì)明顯感覺(jué)到，LLM似乎可以記住之前的對(duì)話內(nèi)容，好像模型有記憶能力。

然而這并不能歸功于模型本身。

事實(shí)上，用戶每次提出一個(gè)問(wèn)題時(shí)，模型收到的提示都會(huì)包含之前所有的對(duì)話內(nèi)容，這些提示就是我們經(jīng)常說(shuō)的「上下文」。

如果不提供上下文，LLM將完全不知道之前討論的內(nèi)容。

所以，重新打開(kāi)一個(gè)對(duì)話界面時(shí)，對(duì)LLM而言就是一個(gè)「從頭再來(lái)」的全新文本序列，完全獨(dú)立于你和其他用戶之前發(fā)生的對(duì)話。

從另一個(gè)角度看，這種「失憶」也有好處。比如，模型開(kāi)始胡說(shuō)八道，或者拒絕回答你的合理問(wèn)題時(shí)，就可以試試重置對(duì)話窗口。也許在新的對(duì)話中，模型的輸出就能回到正軌。

這也是為什么LLM的上下文長(zhǎng)度是一個(gè)重要的指標(biāo)。如果對(duì)話過(guò)長(zhǎng)、超出了上下文窗口，最早的那部分對(duì)話就會(huì)從提示中移除，看起來(lái)就像是模型的「遺忘」。

Andrej Karpathy將上下文窗口準(zhǔn)確地形容為「LLM工作記憶的有限寶貴資源」。

但是，有很多方法可以為L(zhǎng)LM外置記憶能力，來(lái)滿足產(chǎn)品使用的需求。

將之前的對(duì)話作為提示，和當(dāng)前問(wèn)題一起輸入給LLM是最直接的方法，但這依舊是「短期記憶」，而且擴(kuò)展模型的上下文長(zhǎng)度成本很高。

GPT-4o免費(fèi)版支持8k上下文，付費(fèi)版可以達(dá)到128k，已經(jīng)比之前的32k提升了3倍，但仍然無(wú)法保存單個(gè)網(wǎng)頁(yè)的原始HTML。

也可以遞歸地總結(jié)之前的對(duì)話內(nèi)容，將歷史對(duì)話摘要當(dāng)作LLM提示。雖然可能會(huì)丟失細(xì)節(jié)，但相比直接截?cái)嗟姆椒ǎ叱潭壬媳Ａ袅藘?nèi)容的完整性。

另一種方法是外接矢量數(shù)據(jù)庫(kù)，為L(zhǎng)LM添加「長(zhǎng)期記憶」。

在進(jìn)行對(duì)話時(shí)，先從數(shù)據(jù)庫(kù)中檢索相關(guān)內(nèi)容，再將其添加進(jìn)上下文窗口，也就是檢索增強(qiáng)生成（RAG）。

但如果數(shù)據(jù)庫(kù)內(nèi)容過(guò)多，檢索過(guò)程很可能增加模型的響應(yīng)延遲。

實(shí)際開(kāi)發(fā)中，檢索、摘要這兩種手段常常搭配使用，以求在成本和性能、長(zhǎng)期和短期記憶之間取得平衡。

推理無(wú)法記憶，但訓(xùn)練可以

LLM的推理過(guò)程雖然等效于「無(wú)狀態(tài)函數(shù)」，但訓(xùn)練過(guò)程并不是這樣，否則它也無(wú)法從語(yǔ)料中學(xué)習(xí)到任何知識(shí)。

但我們對(duì)于LLM記憶的分歧之處在于，它到底是用「機(jī)械」的方式復(fù)制了訓(xùn)練數(shù)據(jù)，還是更像人類的學(xué)習(xí)過(guò)程，用理解、概括的方式將數(shù)據(jù)內(nèi)容集成在參數(shù)中。

DeepMind近期發(fā)表的一篇論文或許可以從另一個(gè)角度揭示這個(gè)問(wèn)題。

論文地址：https://arxiv.org/abs/2404.15146

他們使用與訓(xùn)練語(yǔ)料相似的prompt攻擊LLM，看它能否逐字逐句地輸出訓(xùn)練數(shù)據(jù)。

但Falcon、Llama、Mistral這種常用的半開(kāi)放LLM，以及GPT系列都沒(méi)有公開(kāi)訓(xùn)練數(shù)據(jù)，要怎么判斷模型的輸出是否包括在訓(xùn)練集中？

論文使用了一種巧妙的方法進(jìn)行判斷：首先，從RefinedWeb、RedPajama、Pile等常用的LLM預(yù)訓(xùn)練數(shù)據(jù)集中選取了9TB的文本作為輔助數(shù)據(jù)集。

如果模型輸出的文本序列足夠長(zhǎng)、信息熵又足夠大，而且還和輔助數(shù)據(jù)集內(nèi)容重合，那么基本可以斷定模型在訓(xùn)練時(shí)見(jiàn)過(guò)這條數(shù)據(jù)。

這樣的判斷方法會(huì)存在假陰性，因?yàn)檩o助數(shù)據(jù)集不可能涵蓋所有模型的訓(xùn)練數(shù)據(jù)，但幾乎沒(méi)有假陽(yáng)性，因此得到的結(jié)果可以作為模型「復(fù)現(xiàn)」訓(xùn)練內(nèi)容的比例下界。

結(jié)果發(fā)現(xiàn)，所有的模型都能逐字逐句地輸出訓(xùn)練數(shù)據(jù)，只是概率有所差異。

從結(jié)果可以發(fā)現(xiàn)，參數(shù)量越大的模型似乎記住的內(nèi)容越多，越有可能在輸出中讓訓(xùn)練數(shù)據(jù)回流。

不同系列的模型之間差異比較顯著。比如7B參數(shù)的Mistral相比Falcon，有將近10倍的概率原樣吐出訓(xùn)練數(shù)據(jù)。

但可能的原因有很多，既能解釋為模型記憶能力的差距，也能歸因于為輔助數(shù)據(jù)集的偏差。

有趣的是，如果prompt的要求是一直持續(xù)輸出某個(gè)單詞，有些單詞更有可能觸發(fā)模型吐出訓(xùn)練數(shù)據(jù)。

最有效的一個(gè)單詞是「company」

作者指出，從安全的角度來(lái)看，這說(shuō)明對(duì)齊過(guò)程沒(méi)有完全模糊模型的記憶，這些可提取的訓(xùn)練數(shù)據(jù)會(huì)帶來(lái)版權(quán)糾紛與隱私泄露問(wèn)題。

但從另一個(gè)角度來(lái)看，這證明，一定比例的訓(xùn)練數(shù)據(jù)被無(wú)損壓縮而且存儲(chǔ)在了模型參數(shù)中。模型的記憶方式，果然是有些「機(jī)械化」的成分。

更進(jìn)一步思考，如果改進(jìn)LLM的記憶方式，讓訓(xùn)練數(shù)據(jù)以更概括、更抽象的方式存儲(chǔ)在參數(shù)中，能否帶來(lái)模型能力的持續(xù)提升？