譯者 | 李睿

審校 | 重樓

檢索增強(qiáng)生成(RAG)是使用大型語(yǔ)言模型(LLM)的關(guān)鍵工具。RAG使LLM能夠?qū)⑼獠课臋n合并到它們的響應(yīng)中，從而更緊密地與用戶(hù)需求保持一致。這個(gè)功能在傳統(tǒng)上使用LLM猶豫不決的領(lǐng)域尤其有益，尤其是在事實(shí)很重要的時(shí)候。

自從ChatGPT和類(lèi)似的LLM推出以來(lái)，出現(xiàn)了大量的RAG工具和庫(kù)。以下是需要了解的關(guān)于RAG如何工作以及如何開(kāi)始使用它與ChatGPT、Claude或選擇的LLM。

RAG提供的好處

當(dāng)開(kāi)發(fā)人員與大型語(yǔ)言模型交互時(shí)，它會(huì)利用其訓(xùn)練數(shù)據(jù)中嵌入的知識(shí)來(lái)制定響應(yīng)。然而，規(guī)模龐大的訓(xùn)練數(shù)據(jù)往往超過(guò)模型的參數(shù)，導(dǎo)致響應(yīng)可能不完全準(zhǔn)確。此外，訓(xùn)練中使用的各種信息可能會(huì)導(dǎo)致LLM混淆細(xì)節(jié)，可能提供看似合理但不正確的答案，這種現(xiàn)象被稱(chēng)為“幻覺(jué)”。

在某些情況下，開(kāi)發(fā)人員可能希望LLM使用未包含在其訓(xùn)練數(shù)據(jù)中的信息，例如最近發(fā)布的新聞文章、學(xué)術(shù)論文或?qū)Ｓ泄疚臋n。這就是RAG發(fā)揮重要作用的地方。

RAG通過(guò)在LLM生成響應(yīng)之前為其提供相關(guān)信息來(lái)解決這些問(wèn)題。這包括從外部源檢索文檔(因此得名)，并將其內(nèi)容插入到對(duì)話(huà)中，以向LLM提供場(chǎng)景。

這一過(guò)程增強(qiáng)了模型的準(zhǔn)確性，并使其能夠根據(jù)提供的內(nèi)容制定響應(yīng)。實(shí)驗(yàn)表明，RAG能顯著減少“幻覺(jué)”。在需要最新或客戶(hù)特定信息的應(yīng)用程序中，它也被證明是有益的，這些信息不包括在訓(xùn)練數(shù)據(jù)集中。

簡(jiǎn)單地說(shuō)，標(biāo)準(zhǔn)LLM和支持RAG的LLM之間的區(qū)別可以比喻成兩個(gè)人回答問(wèn)題。標(biāo)準(zhǔn)LLM就像一個(gè)人根據(jù)記憶做出回應(yīng)，而支持RAG的LLM則像獲得文件的另一個(gè)人，可以根據(jù)文件內(nèi)容閱讀和回答問(wèn)題。

RAG是如何工作的

RAG的工作原理很簡(jiǎn)單。它標(biāo)識(shí)與查詢(xún)相關(guān)的一個(gè)或多個(gè)文檔，將它們合并到提示中，并修改提示以包含模型基于這些文檔的響應(yīng)的說(shuō)明。

開(kāi)發(fā)人員可以手動(dòng)實(shí)現(xiàn)RAG，其方法是將文檔的內(nèi)容復(fù)制粘貼到提示中，并指示模型根據(jù)該文檔制定響應(yīng)。

RAG管道將這一過(guò)程實(shí)現(xiàn)自動(dòng)化以提高效率。它首先將用戶(hù)的提示與文檔數(shù)據(jù)庫(kù)進(jìn)行比較，檢索與主題最相關(guān)的提示。然后，RAG管道將它們的內(nèi)容集成到提示符中，并添加指令以確保LLM符合文檔的內(nèi)容。

RAG管道需要什么？

圖1 使用嵌入和矢量數(shù)據(jù)庫(kù)檢索相關(guān)文檔

雖然RAG是一個(gè)直觀的概念，但它的執(zhí)行需要多個(gè)組件的無(wú)縫集成。

首先，需要生成響應(yīng)的主要語(yǔ)言模型。除此之外，還需要一個(gè)嵌入模型將文檔和用戶(hù)提示編碼為表示其語(yǔ)義內(nèi)容的數(shù)字列表或“嵌入”。

接下來(lái)，需要一個(gè)矢量數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)這些文檔嵌入，并在每次收到用戶(hù)查詢(xún)時(shí)檢索最相關(guān)的文檔嵌入。在某些情況下，排序模型還有助于進(jìn)一步細(xì)化向量數(shù)據(jù)庫(kù)提供的文檔的順序。

對(duì)于某些應(yīng)用程序，開(kāi)發(fā)人員可能希望合并一種額外的機(jī)制，將用戶(hù)提示分為幾個(gè)部分。這些部分中的每一個(gè)都需要自己獨(dú)特的嵌入和文檔，從而提高所生成響應(yīng)的準(zhǔn)確性和相關(guān)性。

如何在無(wú)代碼的情況下開(kāi)始使用RAG

圖2 無(wú)代碼RAG與LlamaIndex和ChatGPT

LlamaIndex最近發(fā)布了一個(gè)開(kāi)源工具，它允許開(kāi)發(fā)人員開(kāi)發(fā)基本的RAG應(yīng)用程序，幾乎不需要編寫(xiě)代碼。雖然目前僅限于單個(gè)文件的使用，但未來(lái)的增強(qiáng)功能可能包括對(duì)多個(gè)文件和矢量數(shù)據(jù)庫(kù)的支持。

這個(gè)名為RAG的項(xiàng)目建立在Streamlit web應(yīng)用程序框架和LlamaIndex之上，LlamaIndex是一個(gè)強(qiáng)大的Python庫(kù)，對(duì)RAG特別有用。如果開(kāi)發(fā)人員熟悉GitHub和Python，其安裝很簡(jiǎn)單：只需克隆存儲(chǔ)庫(kù)，運(yùn)行安裝命令，然后將OpenAI API令牌添加到自述文檔中指定的配置文件中。

目前，RAG被配置為與OpenAI模型一起工作。但是，可以修改代碼以使用其他模型，例如Anthropic Claude、Cohere模型或服務(wù)器上托管的開(kāi)源模型(如Llama 2)。LlamaIndex支持所有這些模型。

應(yīng)用程序的初始運(yùn)行需要設(shè)置RAG代理。這涉及到確定設(shè)置，包括文件、將文件分成塊的大小，以及為每個(gè)提示檢索的塊的數(shù)量。

塊在RAG中起著至關(guān)重要的作用。當(dāng)處理一個(gè)大文件時(shí)，例如一本書(shū)或一篇多頁(yè)的研究論文，有必要把它分解成可管理的塊，例如500個(gè)令牌。這允許RAG代理定位文檔中與提示相關(guān)的特定部分。

在完成這些步驟之后，應(yīng)用程序?qū)镽AG代理創(chuàng)建一個(gè)配置文件，并用它來(lái)運(yùn)行代碼。RAG是一個(gè)有價(jià)值的工具，可以從增強(qiáng)檢索開(kāi)始并在此基礎(chǔ)上進(jìn)行構(gòu)建。人們可以在相關(guān)網(wǎng)站上找到完整的指南。

原文標(biāo)題：No-code retrieval augmented generation (RAG) with LlamaIndex and ChatGPT，作者：Ben Dickson

鏈接：https://bdtechtalks.com/2023/11/22/rag-chatgpt-llamaindex/