檢索增強生成（RAG：Retrieval-Augmented Generation）技術可追溯到2020年Facebook發表的一篇論文：“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”。它結合了信息檢索和生成模型技術，通過引入外部知識庫信息，解決知識密集型NLP任務的效果：問答、文本摘要等。

大模型RAG之啟蒙

大型語言模型（LLMs）雖然展現出了令人印象深刻的能力，但它們在處理特定領域或知識密集型任務時面臨諸如產生幻覺（hallucination）、知識過時以及推理過程不透明和不可追溯等挑戰。

RAG技術通過整合外部數據庫中的知識，作為解決這些問題的有前途的方案。它增強了生成的準確性和可信度，特別是對于知識密集型任務，并允許持續的知識更新和整合特定領域的信息。

大模型RAG核心濃縮成兩個核心階段：

檢索階段：模型首先從外部知識庫中檢索與輸入文本相關的信息。這個知識庫可以是對大規模文本數據集進行索引處理后形成的數據庫。

生成階段：將檢索到的信息作為輸入，到一個生成模型中（如Llama3）。這個生成模型會基于輸入信息，生成最終的響應或文本。

高級RAG之36技 

從架構、模塊、技術三個維度講解了整個大模型高級RAG企業落地全過程之技術要點，一個框架、10個模塊、36種技術！對一些復雜核心模塊：分塊、向量、重排也進行了系統性總結和概況！

Query理解（Query NLU）：使用LLM作為基礎引擎來重寫用戶Query以提高檢索質量，涉及Query意圖識別、消歧、分解、抽象等，總計7種技術。

Query路由（Query Routing）：查詢路由是LLM支持的決策步驟，根據給定的用戶查詢下一步該做什么，總計1種技術。

索引（Indexing）：是當前RAG中比較核心的模塊，包括文檔解析（5種工具）、文檔切塊（5類）、嵌入模型（6類）、索引類型（3類）等內容，總計8種技術。

Query檢索（Query Retrieval）：重點關注除典型RAG的向量檢索之外的圖譜與關系數據庫檢索（NL2SQL），總計3種技術。

重排（Rerank）：來自不同檢索策略的結果往往需要重排對齊，包括重排器類型（5種），自訓練領域重排器等，總計3種技術。

生成（Generation）：實際企業落地會遇到生成重復、幻覺、通順、美化、溯源等問題，涉及到RLHF、偏好打分器、溯源SFT、Self-RAG等等，總計7種技術。

評估與框架：RAG需要有全鏈路的評價體系，作為RAG企業上線與迭代的依據，總計3種技術。

RAG新技術：RAG未來將走向哪里？探討未來的一些可能得方向，以及如何實現，總計3種技術。

一張全景框架圖，梳理了10個模塊，36種技術（原版圖，可編輯）

終章之Agentic RAG

最終，大模型RAG問答終章是Agentic RAG!?

向Lv2-智能體提出一個問題。
while (Lv2-智能體無法根據其記憶回答問題) {
    Lv2-智能體提出一個新的子問題待解答。
    Lv2-智能體向Lv1-RAG提問這個子問題。
    將Lv1-RAG的回應添加到Lv2-智能體的記憶中。
}
Lv2-智能體提供原始問題的最終答案。

例如，Query：“與第五交響曲創作于同一世紀的交通工具是什么？”，Agent分兩個子問題來解決：

• 第一個子問題：“第五交響曲是在哪個世紀創作的？”
• 第二個子問題：“19世紀發明的交通工具”

本文轉載自?? PaperAgent??，作者： PaperAgent