我們之前介紹了什么是 RAG、它在大型語言模型 (LLM) 中的重要性，以及 RAG 的經典檢索器、生成器系統是什么樣的，本系列的第三篇文章探討了一種構建 RAG 系統的升級方法：融合檢索。

在深入探討之前，值得簡要回顧一下我們在本系列第二部分中探討過的基本 RAG 方案。

融合檢索解析

融合檢索方法涉及在檢索增強生成（RAG）系統的檢索階段中融合或聚合多個信息流。回顧一下，在檢索階段，檢索器——一個信息檢索引擎——接收用戶對大型語言模型（LLM）的原始查詢，將其編碼為向量數值表示，并用它在龐大的知識庫中搜索與查詢強烈匹配的文檔。之后，通過添加來自檢索到的文檔的結果上下文信息來增強原始查詢，最后將增強后的輸入發送給LLM以生成響應。

通過在檢索階段應用融合方案，可以在原始查詢的基礎上添加更加連貫和上下文相關的背景信息，從而進一步改善由LLM生成的最終響應。融合檢索利用從多個提取文檔（搜索結果）中獲取的知識，并將其組合成更有意義和準確的上下文。然而，我們已經熟悉的經典RAG方案也可以從知識庫中檢索多個文檔，而不僅僅是單一文檔。那么這兩種方法之間有什么區別呢？

經典RAG與融合檢索之間的關鍵區別在于如何處理和整合檢索到的多個文檔以形成最終響應。在經典的RAG中，檢索到的文檔內容只是簡單地串聯起來，或者最多是抽取式摘要，然后作為額外的上下文輸入LLM以生成響應，不涉及高級融合技術的應用。而在融合檢索中，則使用更專業的機制來跨多個文檔組合相關信息。這種融合過程可以發生在增強階段（檢索階段）或甚至是在生成階段。

• 增強階段中的融合

包括在將多個文檔傳遞給生成器之前應用重新排序、過濾或合并的技術。兩個例子是重排序和聚合：重排序指的是根據相關性對文檔進行評分和排序后再與用戶提示一起輸入模型；聚合則是將每個文檔中最相關的部分合并成一個單獨的上下文。聚合通過經典的信息檢索方法實現，如TF-IDF（詞頻-逆文檔頻率）、嵌入操作等。

• 生成階段中的融合

涉及到LLM（生成器）獨立處理每一個檢索到的文檔——包括用戶提示——并在生成最終響應時融合數個處理任務的信息。廣義上講，RAG中的增強階段成為了生成階段的一部分。這一類別中的一種常見方法是解碼器中的融合（FiD），它允許LLM分別處理每個檢索到的文檔，然后在生成最終響應時結合它們的見解。

重排序是一種最簡單但有效的融合方法，能夠有意義地結合來自多個檢索來源的信息。接下來的部分簡要解釋了它是如何工作的。

重排序的工作原理

在重排序過程中，檢索器獲取的初始文檔集會被重新排序，以提高與用戶查詢的相關性，從而更好地滿足用戶需求并提升整體輸出質量。檢索器將獲取的文檔傳遞給一個稱為“排序器”的算法組件，該組件根據諸如學習到的用戶偏好等標準重新評估檢索結果，并對文檔進行排序，目的是最大化呈現給特定用戶的結果相關性。諸如加權平均或其他形式的評分機制被用來組合和優先排列排名最高的文檔，使得排名靠前的文檔內容比排名較低的文檔內容更有可能成為最終合并上下文的一部分。

下圖展示了重排序機制的工作原理：

為了更好地理解重排序，我們以東亞旅游為背景描述一個例子。想象一位旅行者向一個RAG系統查詢“亞洲自然愛好者最佳目的地”。初始檢索系統可能會返回一系列文檔，包括通用的旅行指南、關于亞洲熱門城市的文章，以及對自然公園的推薦。然而，一個重排序模型可以利用額外的旅行者特定偏好和上下文數據（例如偏好的活動、之前喜歡的活動或去過的目的地）對這些文檔重新排序，從而優先展示對該用戶最相關的內容。它可能會突出一些寧靜的國家公園、鮮為人知的徒步小徑以及生態友好的旅行路線，而這些可能不會出現在大多數人的推薦列表前列。通過這種方式，它為像目標用戶這樣的自然愛好者游客提供了“直擊要點”的結果。

總之，重排序基于額外的用戶相關性標準重新組織多個檢索到的文檔，集中關注排名靠前的文檔內容提取過程，從而提高后續生成響應的相關性。