大型語(yǔ)言模型（LLMs）在生成文本時(shí)可能會(huì)產(chǎn)生錯(cuò)誤信息，即“幻覺(jué)”問(wèn)題。盡管檢索增強(qiáng)的LLMs通過(guò)檢索外部數(shù)據(jù)來(lái)減少這種幻覺(jué)，但現(xiàn)有的方法通常不考慮檢索文檔與LLMs之間的細(xì)粒度結(jié)構(gòu)語(yǔ)義交互，這在處理長(zhǎng)文檔時(shí)尤其影響回答的準(zhǔn)確性。

不同的檢索增強(qiáng)方法范式，包括傳統(tǒng)的檢索器-響應(yīng)器方法和增強(qiáng)檢索器-重排序-響應(yīng)器框架。強(qiáng)調(diào)了學(xué)習(xí)關(guān)鍵檢索文檔的排序結(jié)構(gòu)的重要性，以幫助LLMs更好地處理與事實(shí)知識(shí)相關(guān)的用戶查詢。

為了解決這一問(wèn)題，提出了一個(gè)新的大模型RAG框架R4：Reinforced Retriever-Reorder-Responder（增強(qiáng)檢索器-重排序-響應(yīng)器），它包含三個(gè)主要模塊：

• 檢索器（Retriever）：使用Dense Passage Retriever（DPR）檢索相關(guān)文檔。
• 重排序器（Reorder）：通過(guò)圖注意力學(xué)習(xí)和強(qiáng)化學(xué)習(xí)機(jī)制動(dòng)態(tài)調(diào)整檢索文檔的順序。
• 響應(yīng)器（Responder）：將查詢和調(diào)整后的文檔作為輸入，生成回答。

R4概覽。文檔順序調(diào)整：根據(jù)反饋，文檔在簇中的位置會(huì)動(dòng)態(tài)調(diào)整。文檔表示增強(qiáng)：文檔表示會(huì)根據(jù)訓(xùn)練損失的權(quán)重梯度進(jìn)行更新（彩色查看效果最佳）。

具體過(guò)程包括：

• 文檔順序調(diào)整：利用圖注意力學(xué)習(xí)將檢索文檔動(dòng)態(tài)調(diào)整到開(kāi)始、中間和結(jié)束位置，以最大化回答質(zhì)量的強(qiáng)化獎(jiǎng)勵(lì)。?

在R4框架內(nèi)，查詢和檢索到的文檔之間異構(gòu)圖構(gòu)建過(guò)程的示意圖。

• 文檔表示增強(qiáng)：對(duì)于生成質(zhì)量較差的回答，通過(guò)文檔級(jí)別的梯度對(duì)抗學(xué)習(xí)來(lái)細(xì)化檢索文檔的表示。

實(shí)驗(yàn)使用了3類(lèi)任務(wù)5個(gè)數(shù)據(jù)集，包括生成式問(wèn)答（Generative QA）、多項(xiàng)選擇問(wèn)答（Multi-choice QA）和對(duì)話（Dialogue）任務(wù)。

• R4框架在知識(shí)密集型任務(wù)上的表現(xiàn)超過(guò)了多個(gè)強(qiáng)基線模型，包括REALM、ICR、REPLUG、Selfmem、SELF-RAG、FILCO和LongLLMLingua。

R4模型在公共數(shù)據(jù)集上的總體結(jié)果。T檢驗(yàn)表明，R4工作改進(jìn)在統(tǒng)計(jì)上是顯著的，p值<0.05。

• R4框架對(duì)于不同的檢索器和LLMs表現(xiàn)出良好的適應(yīng)性，證明了其在不同文檔數(shù)量下的魯棒性。
• 增加檢索文檔的數(shù)量(10->15->20)可以提高模型性能，但性能提升隨著檢索文檔數(shù)量的增加而減少。

• 基線（Self-RAG、REALM等）也表現(xiàn)出對(duì)位置敏感的現(xiàn)象，即開(kāi)始和結(jié)束位置比中間位置更有效。
• R4無(wú)論關(guān)鍵文檔的初始位置如何，都能展現(xiàn)出穩(wěn)定且強(qiáng)健的輸出。這證實(shí)了文檔的排序和優(yōu)化在本質(zhì)上增強(qiáng)了LLMs在RAG系統(tǒng)中處理用戶查詢的能力的觀點(diǎn)。

https://arxiv.org/pdf/2405.02659
R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models
code：paper錄用后會(huì)發(fā)布

本文轉(zhuǎn)載自 ??PaperAgent??，作者： PaperAgent