今天給大家?guī)?lái)一篇超有料的RAG（檢索增強(qiáng)生成）技術(shù)綜述，這份大作來(lái)自卡內(nèi)基梅隆大學(xué)的大佬們。標(biāo)題就霸氣側(cè)漏：《A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions》。

1. 引言

圖片

??RAG技術(shù)到底是啥玩意兒？

簡(jiǎn)單來(lái)說(shuō)，RAG技術(shù)就像是一個(gè)超級(jí)聰明的助手，它有兩個(gè)絕招：一是能從海量信息中迅速找到你需要的資料，二是能把這些資料整合起來(lái)，用自然語(yǔ)言給你一個(gè)完美的回答。這種技術(shù)讓我們告別了生成內(nèi)容中的“胡說(shuō)八道”，讓文本更準(zhǔn)確、更靠譜?，F(xiàn)在，RAG已經(jīng)在問(wèn)答、聊天機(jī)器人、個(gè)性化推薦等領(lǐng)域大顯身手。

圖片

1.1 檢索與生成的完美結(jié)合

在RAG出現(xiàn)之前，NLP領(lǐng)域要么是檢索，要么是生成，兩者各占一邊。但RAG技術(shù)的出現(xiàn)，就像是把這兩個(gè)領(lǐng)域的高手合并成一個(gè)超級(jí)英雄，既能快速找到信息，又能流暢地表達(dá)出來(lái)。

1.2 RAG系統(tǒng)的挑戰(zhàn)

雖然RAG技術(shù)很牛，但它也面臨著一些挑戰(zhàn)，比如處理模糊查詢時(shí)的準(zhǔn)確度問(wèn)題，檢索信息與生成內(nèi)容的整合問(wèn)題，以及計(jì)算資源的消耗問(wèn)題。還有，我們得警惕信息源的偏見，別讓這些偏見在RAG技術(shù)中被放大。

2. RAG技術(shù)架構(gòu)大揭秘

2.1 基本框架

RAG系統(tǒng)就像是一個(gè)雙劍合璧的戰(zhàn)士，一個(gè)劍是檢索器，負(fù)責(zé)找到信息；另一個(gè)劍是生成器，負(fù)責(zé)整合信息并給出回答。這種組合比傳統(tǒng)模型更厲害，因?yàn)樗軐?shí)時(shí)調(diào)用外部知識(shí)。

2.2 檢索技術(shù)分析

??BM25算法：這個(gè)算法就像是老派的偵探，基于TF-IDF原理對(duì)文檔進(jìn)行排序，雖然在關(guān)鍵詞匹配上很在行，但在理解語(yǔ)義上就有點(diǎn)力不從心了。

??DPR技術(shù)：DPR技術(shù)就像是現(xiàn)代的私家偵探，它用雙編碼器架構(gòu)，把查詢和文檔映射到高維空間，通過(guò)語(yǔ)義相似度來(lái)匹配，這在開放域問(wèn)答中表現(xiàn)得特別棒。

??REALM方案：REALM方案就像是偵探界的新星，它把檢索過(guò)程融入語(yǔ)言模型訓(xùn)練，實(shí)現(xiàn)了檢索器與生成器的協(xié)同優(yōu)化。Self-RAG和REPLUG等技術(shù)通過(guò)引入LLM提升了檢索能力。

2.3 生成模塊解析

生成模塊是RAG系統(tǒng)的大腦，負(fù)責(zé)整合檢索信息和輸入內(nèi)容，輸出連貫的響應(yīng)結(jié)果。這個(gè)模塊以大規(guī)模語(yǔ)言模型為基礎(chǔ)，確保輸出內(nèi)容的流暢性和準(zhǔn)確性。

??文本轉(zhuǎn)換轉(zhuǎn)換器T5：T5模型就像是文本生成界的瑞士軍刀，它把所有自然語(yǔ)言處理任務(wù)統(tǒng)一為文本轉(zhuǎn)換框架，這種設(shè)計(jì)理念讓它在問(wèn)答、摘要等多種任務(wù)中表現(xiàn)出色。

??雙向自回歸轉(zhuǎn)換器BART：BART在處理含噪聲輸入的文本生成任務(wù)中特別厲害，特別適合摘要和開放域問(wèn)答等應(yīng)用。

圖片

3. 多模態(tài)RAG技術(shù)探秘

??音頻RAG技術(shù)：音頻RAG技術(shù)就像是音樂(lè)界的DJ，它把檢索增強(qiáng)生成擴(kuò)展到語(yǔ)音領(lǐng)域，通過(guò)Wav2Vec 2.0等預(yù)訓(xùn)練模型進(jìn)行特征表示, 為語(yǔ)音識(shí)別等應(yīng)用提供支持。

??視頻RAG技術(shù)：視頻RAG模型就像是電影導(dǎo)演，通過(guò)捕捉時(shí)空特征(I3D TimeSformer等技術(shù)），實(shí)現(xiàn)了視覺(jué)與文本信息的融合，提升了視頻理解和字幕生成的效果。

??跨模態(tài)RAG應(yīng)用：跨模態(tài)RAG技術(shù)就像是跨界藝術(shù)家，整合了多種數(shù)據(jù)形式，實(shí)現(xiàn)了高效的跨模態(tài)信息檢索與生成。

4. 現(xiàn)有RAG框架一覽

當(dāng)前RAG框架呈現(xiàn)出多元化發(fā)展趨勢(shì)，各具特色，就像是一場(chǎng)技術(shù)的盛宴，每個(gè)框架都有自己的拿手好戲。

圖片

RAG框架正朝著多樣化發(fā)展，每個(gè)都有其獨(dú)特之處：

• 智能體RAG：利用多個(gè)小型預(yù)訓(xùn)練模型處理特定任務(wù)，主模型負(fù)責(zé)分配任務(wù)和檢索知識(shí)，提高了靈活性和效率。
• RULE框架：專注于提高醫(yī)學(xué)視覺(jué)語(yǔ)言模型的精確度，通過(guò)校準(zhǔn)選擇和偏好優(yōu)化，平衡了模型知識(shí)和檢索信息。
• METRAG：通過(guò)多層次思維增強(qiáng)，結(jié)合文檔相似度和實(shí)用性評(píng)估，配合自適應(yīng)摘要器，在知識(shí)密集型任務(wù)中表現(xiàn)優(yōu)異。
• RAFT：引入干擾文檔訓(xùn)練，結(jié)合思維鏈推理，增強(qiáng)了模型的辨別能力，并在專業(yè)領(lǐng)域數(shù)據(jù)集上取得進(jìn)展。
• FILCO：通過(guò)詞匯和信息論方法提升上下文質(zhì)量，解決了對(duì)檢索內(nèi)容依賴不當(dāng)?shù)膯?wèn)題。
• Self-RAG：引入反思機(jī)制，使模型能根據(jù)任務(wù)需求自適應(yīng)調(diào)整行為。

其他創(chuàng)新框架：

• MK Summary：遵循準(zhǔn)備-重寫-檢索-閱讀的工作流程。
• CommunityKG-RAG：整合了知識(shí)圖譜的社區(qū)結(jié)構(gòu)。
• RAPTOR：實(shí)現(xiàn)了層次化信息檢索。

5. RAG技術(shù)面臨的挑戰(zhàn)

RAG技術(shù)在發(fā)展中面臨以下挑戰(zhàn)：

• 系統(tǒng)性能：在海量數(shù)據(jù)面前的擴(kuò)展性、實(shí)時(shí)處理能力以及資源消耗的平衡。
• 質(zhì)量控制：保證檢索內(nèi)容的相關(guān)性和時(shí)效性，提升長(zhǎng)文本生成時(shí)的檢索精確度，以及檢索知識(shí)與生成內(nèi)容的連貫性。
• 社會(huì)影響：減少系統(tǒng)偏見，提高模型的透明度和可解釋性，關(guān)注系統(tǒng)公平性和倫理問(wèn)題。

6. 發(fā)展趨勢(shì)與前景展望

RAG技術(shù)的未來(lái)發(fā)展將聚焦于：

• 多模態(tài)技術(shù)整合：優(yōu)化跨模態(tài)信息對(duì)齊與融合，增強(qiáng)多模態(tài)輸出連貫性，提升跨模態(tài)檢索能力。
• 性能優(yōu)化：開發(fā)分布式計(jì)算解決方案，改進(jìn)索引技術(shù)，優(yōu)化計(jì)算資源利用效率。
• 個(gè)性化服務(wù)增強(qiáng)：構(gòu)建用戶畫像驅(qū)動(dòng)的檢索策略，提升上下文理解能力，整合交互反饋機(jī)制。
• 倫理與隱私保障：減少系統(tǒng)偏見，加強(qiáng)隱私保護(hù)，提高模型可解釋性。
• 語(yǔ)言支持拓展：增強(qiáng)跨語(yǔ)言能力，支持低資源語(yǔ)言，優(yōu)化多語(yǔ)言檢索生成。
• 檢索機(jī)制創(chuàng)新：開發(fā)動(dòng)態(tài)檢索策略，探索混合檢索方法，優(yōu)化檢索效果評(píng)估。
• 技術(shù)融合探索：與腦機(jī)接口技術(shù)結(jié)合，在AR/VR領(lǐng)域的應(yīng)用，探索新型人機(jī)交互模式。

資源鏈接：https://arxiv.org/pdf/2410.12837

如果對(duì)內(nèi)容有什么疑問(wèn)和建議可以私信和留言，也可以添加我加入大模型交流群，一起討論大模型在創(chuàng)作、RAG和agent中的應(yīng)用。