「有效上下文」提升20倍！DeepMind發布ReadAgent框架
基于Transformer的大語言模型（LLM）具有很強的語言理解能力，但LLM一次能夠讀取的文本量仍然受到極大限制。
除了上下文窗口較小外，LLM的性能會隨著輸入內容長度的增加而下降，即便輸入內容未超過模型的上下文窗口長度限制也是如此。
相比之下，人類卻可以閱讀、理解和推理很長的文本。
LLM和人類在閱讀長度上存在差異的主要原因在于閱讀方法：LLM逐字地輸入精確的內容，并且該過程相對被動；但過于準確的信息往往會被遺忘，而閱讀過程更注重理解模糊的要點信息，即不考慮準確單詞的內容能記憶更長時間。
人類閱讀也是一個互動的過程，比如回答問題時還需要從原文中進行檢索。
為了解決這些限制，來自Google DeepMind和Google Research的研究人員提出了一個全新的LLM系統ReadAgent，受人類如何交互式閱讀長文檔的啟發，將有效上下文長度增加了20倍。
論文鏈接：https://arxiv.org/abs/2402.09727
受人類交互式閱讀長文檔的啟發，研究人員將ReadAgent實現為一個簡單的提示系統，使用LLMs的高級語言功能：
1. 決定將哪些內容存儲在記憶片段（memory episode）中；
2. 將記憶片段壓縮成稱為要點記憶的簡短片段記憶，
3. 如果ReadAgent需要提醒自己完成任務的相關細節，則采取行動（action）來查找原始文本中的段落。
在實驗評估中，相比檢索、原始長上下文、要點記憶（gist memories）方法，ReadAgent在三個長文檔閱讀理解任務（QuALITY，NarrativeQA和QMSum）上的性能表現都優于基線，同時將有效上下文窗口擴展了3-20倍。
ReadAgent框架
1. 要點記憶（gist memory）
要點記憶是原始長上下文中文本塊的短要點的有序集合，構建gist記憶有兩個步驟：分頁（pagination）和記憶提要（memory gisting）。
片段分頁（episode pagination）
當ReadAgent閱讀長文本時，通過選擇暫停閱讀的位置來決定在記憶片段中存儲哪些內容。
每一步都會為LLM提供部分文本，從上一個暫停點開始，并在達到最大單詞數限制時結束；提示LLM選擇段落之間的哪個點將是自然的暫停點，然后將前一個和當前暫停點之間的內容視為一個episode，也可以叫做頁（page）。
記憶提要（memory gisting）
對于每一頁，提示LLM將確切的內容縮短為要點或摘要。
2. 并行和順序交互查找
由于要點記憶與頁相關，所以只需提示LLM來找出哪一頁更像是答案，并在給定特定任務的情況下再次閱讀，主要有兩種查找策略：同時并行查找所有頁面（ReadAgent-P）和每次查找一個頁面（ReadAgent-S）。
ReadAgent-P
比如說，在問答任務中，通常會給LLM輸入一個可以查找的最大頁數，但也會指示其使用盡可能少的頁面，以避免不必要的計算開銷和干擾信息（distracting information）。
ReadAgent-S
順序查找策略中，模型一次請求一頁，在決定展開（expand）哪個頁面之前，先查看之前展開過的頁面，從而使模型能夠訪問比并行查找更多的信息，預期在某些特殊情況下表現得更好。
但與模型的交互次數越多，其計算成本也越高。
3. 計算開銷和可擴展性
片段分頁、記憶提要和交互式查找需要迭代推理，也存在潛在的計算開銷，但具體開銷由一個小因子線性約束，使得該方法的計算開銷不會輸入長度的增加而劇烈提升。
由于查找和響應大多是條件要點（conditioned gists）而非全文，所以在同一上下文中的任務越多，成本也就越低。
4. ReadAgent變體
當使用長文本時，用戶可能會提前知道要解決的任務：在這種情況下，提要步驟可以在提示中包括任務描述，使得LLM可以更好地壓縮與任務無關的信息，從而提高效率并減少干擾信息，即條件ReadAgent
更通用的任務設置下，在準備提要時可能不知道具體任務，或者可能知道提出的要點需要用于多個不同的任務，例如回答關于文本的問題等。
因此，通過排除注冊步驟中的任務，LLM可以產生更廣泛有用的提要，代價是減少壓縮和增加干擾注意力的信息，即非條件ReadAgent。
這篇論文中只探討了無條件設置，但在某些情況下，條件設置可能更有優勢。
迭代提要（iterative gisting）
對于一段很長的事件歷史，例如對話等，可以考慮通過迭代提要來進一步壓縮舊記憶來實現更長的上下文，對應于人類的話，舊記憶更模糊。
實驗結果
研究人員評估了ReadAgent在三個長上下文問答挑戰中的長文檔閱讀理解能力：QuALITY、NarrativeQA和QMSum。
雖然ReadAgent不需要訓練，但研究人員仍然選擇在訓練集上開發了一個模型并在驗證、測試和/或開發集上進行了測試，以避免過擬合系統超參數的風險。
選用的模型為指令微調后的PaLM 2-L模型。
評估指標為壓縮率（compression rate, CR），計算方法如下：
LLM評分器
NarrativeQA和QMSum都有一個或多個自由形式的參考回復，通常使用諸如ROUGE-F之類的語法匹配度量來評估。
除此之外，研究人員使用自動LLM評分器來評估這些數據集，作為人工評估的替代方法。
上面兩個提示中，「嚴格LLM評分器提示」用于判斷是否存在精確匹配，「許可LLM評分器提示」用于判斷是否存在精確匹配或部分匹配。
基于此，研究人員提出了兩個評價指標：LLM-Rating-1（LR-1）是一個嚴格的評估分數，計算所有示例中精確匹配的百分比；LLM-Rating-2（LR-2）計算精確匹配和部分匹配的百分比。
長上下文閱讀理解
QuALITY
QuALITY是一個多選問答任務，每個問題包含四個答案，使用來自多個不同來源的文本數據。
實驗結果顯示，ReadAgent（查找1-5頁）實現了最好的結果，壓縮率為66.97%（即提要后上下文窗口中可以容納3倍的token）。
當增加允許查找的最大頁數（最多5頁）時，性能會不斷提高；在6頁時，性能開始略有下降，即6頁上下文可能會增加干擾信息。
NarrativeQA
在三個閱讀理解數據集中，NarrativeQA的平均上下文長度最長，為了將gists放入上下文窗口，需要擴展頁面的尺寸大小。
提要對Gutenburg文本（書籍）的壓縮率為96.80%，對電影劇本的壓縮率為91.98%
QMSum
QMSum由各種主題的會議記錄以及相關問題或說明組成，長度從1,000字到26,300字不等，平均長度約為10,000字，其答案是自由形式的文本，標準的評估指標是ROUGE-F
可以看到性能隨著壓縮率的降低而提高，因此查找更多頁面的技術往往比查找更少頁面的技術做得更好。
還可以看到ReadAgentS大大優于ReadAgent-P（以及所有基線），性能改進的代價是檢索階段的請求數量增加了六倍。
