如何讓LLM在規(guī)劃能力上變得更聰明，想象一下，如果我們的AI助手能夠記住過去的經(jīng)歷，并且在需要的時(shí)候能夠回憶起來，那會(huì)是多么方便的事情啊！

首先，我們要明白，對(duì)于AI來說，記憶是提升規(guī)劃能力的關(guān)鍵。目前，有兩種主要的方法可以通過記憶來增強(qiáng)LLM-Agents的規(guī)劃能力：基于RAG的記憶和參數(shù)記憶。

RAG，也就是檢索增強(qiáng)生成，它能夠用檢索到的信息來增強(qiáng)LLM的最新知識(shí)。想象一下，如果AI能夠把過去的經(jīng)驗(yàn)存儲(chǔ)在記憶中，并在需要的時(shí)候檢索出來，那會(huì)是多么棒的事情！這些記憶通常以文本、表格形式或知識(shí)圖譜等形式存儲(chǔ)。例如，有的系統(tǒng)會(huì)把每天的人類行為經(jīng)驗(yàn)以文本形式存儲(chǔ)起來，然后基于當(dāng)前情況的相關(guān)性和新鮮度來檢索記憶。還有的系統(tǒng)會(huì)使用向量編碼模型將每個(gè)記憶編碼成向量，并建立索引結(jié)構(gòu)，以便在檢索時(shí)快速找到相關(guān)信息。下面這些工作都?xì)w屬于這個(gè)范疇，后面我們可能會(huì)詳細(xì)去分享具體內(nèi)容。

• Generative Agents：這項(xiàng)工作存儲(chǔ)了類似于人類的日常經(jīng)驗(yàn)，并根據(jù)當(dāng)前情況的相關(guān)性和新鮮度來檢索記憶。這些記憶以文本形式存儲(chǔ)，并且可以根據(jù)與當(dāng)前任務(wù)的相關(guān)性進(jìn)行檢索。
• MemoryBank、TiM 和 RecMind：這些方法將每個(gè)記憶編碼成向量，并使用索引結(jié)構(gòu)（如FAISS庫(kù)）來組織這些向量。在檢索時(shí)，使用當(dāng)前狀態(tài)的描述作為查詢來檢索記憶池中的記憶。這些方法的區(qū)別在于它們更新記憶的方式不同。
• MemGPT：這項(xiàng)工作借鑒了計(jì)算機(jī)架構(gòu)中的多級(jí)存儲(chǔ)概念，將LLM的上下文視為RAM，并將額外的存儲(chǔ)結(jié)構(gòu)視為磁盤。LLM可以自主決定是檢索歷史記憶還是將當(dāng)前上下文保存到存儲(chǔ)中。
• REMEMBER：這個(gè)方法將歷史記憶以Q值表的形式存儲(chǔ)，每個(gè)記錄是一個(gè)包含環(huán)境、任務(wù)、動(dòng)作和Q值的元組。在檢索時(shí)，會(huì)同時(shí)檢索正面和負(fù)面記憶，以便LLM根據(jù)環(huán)境和任務(wù)的相似性生成計(jì)劃。

另一方面，參數(shù)記憶可以通過微調(diào)LLM，將Agent的歷史經(jīng)驗(yàn)樣本嵌入到模型參數(shù)中。這些經(jīng)驗(yàn)樣本通常來自Agent與環(huán)境的交互，可能包括關(guān)于環(huán)境的常識(shí)知識(shí)、與任務(wù)相關(guān)的先驗(yàn)知識(shí)，以及成功或失敗的經(jīng)驗(yàn)。雖然微調(diào)一個(gè)大參數(shù)的模型成本很高，但通過PEFT，可以通過只訓(xùn)練一小部分參數(shù)來降低成本并加快速度。

但是，這兩種方法都有各自的優(yōu)勢(shì)和局限性。基于RAG的方法提供了實(shí)時(shí)、低成本的外部記憶更新，主要在自然語(yǔ)言文本中，但依賴于檢索算法的準(zhǔn)確性。而微調(diào)則通過參數(shù)修改提供了更大的記憶容量，但記憶更新成本高，并且在保留細(xì)節(jié)方面存在挑戰(zhàn)。

最后，我們還需要考慮如何生成記憶。記憶增強(qiáng)的LLM-Agents在規(guī)劃中表現(xiàn)出更強(qiáng)的生長(zhǎng)潛力和容錯(cuò)能力，但記憶的生成嚴(yán)重依賴于LLM的生成能力。如何通過自生成的記憶來提升較弱的LLM-Agents，仍然是一個(gè)值得探索的挑戰(zhàn)領(lǐng)域。

本文轉(zhuǎn)載自 ??探索AGI??，作者： 獼猴桃