在構建基于檢索增強生成（RAG）的系統時，Embedding Model和Rerank Model扮演著至關重要的角色。比如你正在搭建一個智能搜索引擎，Embedding Model就像是幫你快速找到相關書籍的“圖書管理員”，而Rerank Model則像是一位經驗豐富的“資深書評人”，負責從一堆書里精準挑選出最符合你需求的那幾本。兩者配合，就像一對完美搭檔，確保RAG系統既能找到大量信息，又能精準提煉出最關鍵的內容。

RAG這玩意兒聽起來高大上，其實就是個“外掛大腦”，能讓AI在回答問題時不光靠自己那點小聰明，還能從外部知識庫里撈點干貨出來。核心呢？就是Embedding（嵌入）和Rerank（重排序）。

下面我們逐步解析這兩類模型的作用、推薦模型及其部署方法。

Embedding Model簡介

Embedding Model的核心任務是將文本、圖像或其他數據類型轉化為密集向量（Dense Vector），這種向量形式便于快速檢索和相似度計算。RAG系統中，Embedding Model主要用于構建知識庫并實現高效召回。

Embedding Model的原理（結合RAG）在RAG系統中，Embedding Model的工作原理可以歸納為以下步驟：

文本編碼：將文本片段轉換為向量（Embedding），該向量捕獲了文本的語義信息。

向量存儲：將這些Embedding向量存儲到如FAISS、Milvus、Qdrant等向量數據庫中。

查詢編碼：用戶輸入的查詢也會通過Embedding Model編碼成向量。

相似度檢索：利用向量相似度算法（如內積、余弦相似度）在向量數據庫中檢索最接近的候選文檔。

RAG系統的整體效果很大程度上依賴Embedding Model的召回質量，好的Embedding Model能夠在第一步就篩出高質量候選文本，極大提升系統性能。

簡單理解Embedding：

這家伙就像是給文本辦了個“身份證”。我每次看到一段話，腦子里想的都是“怎么把它變成AI能懂的玩意兒？”Embedding就干了這事兒：把文字變成一串數字（向量），而且這串數字還能反映出文字的“靈魂”。比如，“貓”和“狗”在向量世界里靠得近，“汽車”就離得老遠。簡單來說，它就是個翻譯官，把人類語言翻譯成AI的數學語言。

在RAG里，我用Embedding把用戶的問題和知識庫里的文檔都變成向量，然后一比對，找出最像的幾個。這種“速配”靠的是啥？余弦相似度啊，歐幾里得距離啊這些數學小把戲。效率高，覆蓋廣，這就是Embedding。

Rerank Model簡介

Rerank Model的核心任務是在Embedding Model召回的候選文檔中，進一步篩選和重新排序，以確保最相關的內容排在前列。Rerank Model通常使用更復雜的深度學習模型來更精準地捕獲文本間的語義關系。

簡單理解Rerank：

光靠Embedding粗篩還不夠，畢竟它有時候會給我撈一堆“歪瓜裂棗”。這時候，Rerank就上場了。這家伙是個挑剔的“二篩大師”，專門從Embedding挑出的Top-K候選里再精選出Top-N。

它不像Embedding那樣簡單粗暴地比向量，而是用更聰明的方式（比如交叉注意力機制）去算：“喂，這個文檔跟問題到底有多搭？”最后，它給我一個分數，我就按分數高低重新排個序，挑出最靠譜的答案。

常用模型介紹

常用Embedding模型及使用場景分類：

常用Rerank模型及使用場景分類：

快速部署模型

本次我們使用Xinference來部署這些模型。

先簡單介紹一下Xinference。它是Xorbits團隊搞的一個開源推理框架，號稱能讓你“一行代碼換模型”，支持各種語言模型（LLM）、語音識別模型和多模態模型。部署方式也很靈活，云端、本地、甚至筆記本都能跑。聽起來挺好，對吧？但咱們得看看它具體能不能搞定這些Embedding和Rerank模型。

Xinference github 地址：

https://github.com/xorbitsai/inference

根據Xinference的GitHub頁面和文檔，它主打的是：

開源語言模型：比如LLaMA、Mistral、Grok。

嵌入模型（Embedding Models）：明確提到支持，像BAAI/bge-large-en、sentence-transformers/all-MiniLM-L6-v2這種。

Rerank模型：也支持，比如BAAI/bge-reranker-large。

所以，從官方宣稱來看，Embedding和Rerank模型都可以部署。尤其是BGE系列（包括bge-large-zh、bge-reranker-large），文檔里直接點名支持，說明這些熱門模型已經適配好了。

本次我們使用Docker進行部署Xinference，執行如下命令拉取鏡像：

docker pull xprobe/xinference

執行如下命令運行Xinference：

docker run --name xinference -d -p 9997:9997 -e XINFERENCE_HOME=/data -v </on/your/host>:/data --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

詳細操作可參考官方文檔。

Xinference 絕對能部署前面提到的絕大多數模型，尤其是BGE、SBERT、Cross-Encoder這種熱門模型，基本是“開箱即用”。BERT、Chinese-RoBERTa這種需要點手動配置，但也在能力范圍內。

Embedding Model與Rerank Model在RAG系統中相輔相成，分別承擔著“海選”和“精挑細選”的重要職責。

選擇合適的Embedding Model可以提升系統的召回質量，而搭配強大的Rerank Model則能進一步優化結果的相關度和準確性。

無論是構建知識庫、智能問答系統，還是搜索引擎，合理地組合這兩類模型，才能充分發揮RAG系統的強大潛力。