編者按：大模型的上下文理解能力直接影響到 LLMs 在復(fù)雜任務(wù)和長對話中的表現(xiàn)。本期內(nèi)容聚焦于兩種主流技術(shù)：長上下文(Large Context Windows)和檢索增強(qiáng)生成(RAG)。這兩種技術(shù)各有何優(yōu)勢？在實(shí)際應(yīng)用中，我們又該如何權(quán)衡選擇？

文章不僅詳細(xì)闡述了這兩種技術(shù)的工作原理，還深入分析了它們在效率、準(zhǔn)確性和實(shí)施成本等方面的差異。文章特別提到了在執(zhí)行重復(fù)性任務(wù)時(shí)使用 Context Caching 優(yōu)化長上下文的優(yōu)勢，然而，緩存策略的效果很大程度上取決于提示詞的可預(yù)測性。如果用戶輸入變化無常，緩存的效果可能會(huì)大打折扣。

本文可供各位讀者進(jìn)行技術(shù)選型時(shí)參考，期待未來看到更多提升 LLMs 上下文理解能力的創(chuàng)新方案。

作者 | Priyanka Vergadia

編譯 | 岳揚(yáng)

?

大語言模型（Large Language Models ，LLMs）技術(shù)正飛速發(fā)展，尤其是模型在生成文本時(shí)能夠處理的上下文信息量極速提升。盡管 LLMs 在文本的處理和生成等方面表現(xiàn)出色，但它們卻面臨一個(gè)固有的挑戰(zhàn)：難以捕捉信息背景全貌，尤其是在應(yīng)對冗長對話或涉及多重細(xì)節(jié)的復(fù)雜任務(wù)時(shí)。為了解決這一問題，研究人員引入了長上下文（Large context windows）和檢索增強(qiáng)生成（Retrieval-Augmented Generation ，RAG）兩種技術(shù)。這兩種技術(shù)各有千秋，選擇哪種取決于具體的應(yīng)用需求。下面，我們將探討為何提升模型的上下文理解能力如此重要。

上下文（Context）的重要性：

?

讓我們設(shè)想一下日常生活中的對話場景。要理解對方此刻的話語，我們需要回顧之前的對話內(nèi)容。如若大語言模型（LLMs）缺乏必要的上下文理解能力，在這方面可能會(huì)“頭疼”。本文認(rèn)為上下文非常重要，有如下幾點(diǎn)理由：

• 能夠保持對話的連貫性：在日常對話交談中，如果有人突然提到“那只狗??”，我們能立即明白他指的是之前討論過的那只狗??，而不是憑空出現(xiàn)的一只新狗。長上下文（Large context windows）或檢索增強(qiáng)生成（RAG）技術(shù)能夠幫助 LLMs 在交互過程中保持這種語義連貫性。

• 理解復(fù)雜信息及其復(fù)雜關(guān)系：某些任務(wù)需要理解信息之間錯(cuò)綜復(fù)雜的關(guān)系。比如，要準(zhǔn)確總結(jié)一篇學(xué)術(shù)論文，就需要理解研究方法與實(shí)驗(yàn)結(jié)果之間的聯(lián)系。長上下文或 RAG 使 LLMs 能夠全面考慮所有相關(guān)內(nèi)容，從而更深入地把握整體信息。

• 減少"幻覺"現(xiàn)象：LLMs 在缺乏足夠的上下文信息時(shí)，可能會(huì)自行編造數(shù)據(jù)或內(nèi)容來填補(bǔ)認(rèn)知空白，導(dǎo)致輸出錯(cuò)誤荒謬或毫無意義的信息。這種現(xiàn)象在人工智能領(lǐng)域被稱為"幻覺（Hallucinations）"。長上下文或 RAG 技術(shù)通過提供更多的背景信息，能夠有效地將 LLMs 的生成內(nèi)容錨定在現(xiàn)實(shí)基礎(chǔ)之上，使其生成內(nèi)容更符合實(shí)際情況。

01 長上下文（Large Context Windows）

長上下文讓大語言模型（LLMs）在生成響應(yīng)前能處理更多的文本信息。這說明 LLMs 可以一次性掌握大量的數(shù)據(jù)和信息，從而更好地把握全局，生成的模型響應(yīng)也更能貼合對話主題。這對于那些需要深度理解對話歷史或背景信息的任務(wù)尤其有用。不過，處理海量文本會(huì)帶來較高的計(jì)算成本，同時(shí)也會(huì)影響處理速度。

?

02 利用緩存優(yōu)化長上下文技術(shù)的好處

在處理長上下文帶來的計(jì)算負(fù)擔(dān)時(shí)，采用緩存策略是一種有效的成本優(yōu)化途徑。緩存機(jī)制會(huì)保存已處理過的上下文信息，以便在遇到類似提示詞時(shí)能迅速調(diào)用，這一舉措能夠大幅縮短模型響應(yīng)時(shí)間，尤其在執(zhí)行重復(fù)性工作時(shí)效果顯著。

實(shí)例解析：設(shè)想一個(gè)專門用于總結(jié)學(xué)術(shù)論文的大語言模型。借助緩存功能，LLMs 能夠存儲之前分析過的論文段落（如引言、實(shí)驗(yàn)方法等）。當(dāng)接收到一篇新論文，且其結(jié)構(gòu)與以往處理過的論文類似時(shí)，模型便能直接調(diào)用緩存中的相關(guān)上下文，僅需集中精力分析創(chuàng)新部分的內(nèi)容（如實(shí)驗(yàn)結(jié)果和結(jié)論）。

不過，啟用緩存也會(huì)給系統(tǒng)引入額外的復(fù)雜度。決策者必須權(quán)衡哪些信息值得緩存以及緩存期多長時(shí)間。此外，緩存是否有效直接取決于提示詞的可預(yù)測性（predictability） 。若用戶的提示詞內(nèi)容變化無常，緩存的效果可能會(huì)大打折扣。

03 RAG：檢索增強(qiáng)生成技術(shù)

RAG 技術(shù)能夠顯著提升大語言模型（如 GPT-3 等）的準(zhǔn)確度與可靠性。其核心在于將 LLMs 與外部知識庫（如維基百科或企業(yè)內(nèi)部文檔）連接，使得模型在生成響應(yīng)前，能夠先從這些知識庫中檢索并使用最相關(guān)的信息。相較于單純依賴緩存長上下文的方法，RAG 的優(yōu)勢如下：

• 效率提升：RAG 只檢索最相關(guān)的關(guān)鍵信息，因此速度更快，成本效益更高。
• 準(zhǔn)確性增強(qiáng)：聚焦于最相關(guān)的信息有效降低了大模型出現(xiàn)幻覺的風(fēng)險(xiǎn)，確保了敘述的事實(shí)更為準(zhǔn)確。

然而，RAG 技術(shù)的引入雖開辟了一條新路徑，卻也伴隨著較高的前期工作成本。RAG 系統(tǒng)的搭建與運(yùn)維，需依托于一套復(fù)雜的檢索機(jī)制，該機(jī)制依賴向量搜索（vector search）及嵌入（embeddings）技術(shù)，以確保 LLM 能夠高效獲取最為契合的信息資源。

04 RAG 對比長上下文：權(quán)衡與選擇

長上下文（Large context windows）賦予 LLMs 直接處理海量歷史信息的能力，尤其適用于需要進(jìn)行深度分析的復(fù)雜任務(wù)。然而，這種全面覆蓋的方式計(jì)算成本較高，執(zhí)行效率相對低下。RAG 則另辟蹊徑，利用檢索系統(tǒng)，從龐大的知識庫中精挑細(xì)選出最相關(guān)的信息片段供給 LLM 使用。此舉不僅能夠提速增效，還可以大幅節(jié)省成本，并有效降低出錯(cuò)的風(fēng)險(xiǎn)。但需要注意的是，RAG 的高效運(yùn)行需仰仗一套完善的數(shù)據(jù)檢索體系，且初期部署較為繁瑣。綜上所述，這個(gè)問題的最優(yōu)解應(yīng)基于決策者對深度分析能力、系統(tǒng)運(yùn)行效率的要求。

?

決策指南概覽：

• 帶緩存的長上下文：當(dāng)面對需深度剖析的大數(shù)據(jù)集，并且提示詞具有一定的可預(yù)測性，利于緩存機(jī)制發(fā)揮效能時(shí)，此選項(xiàng)值得考慮。
• RAG：如若信奉效率至上，追求事實(shí)的準(zhǔn)確性，或使用場景的提示詞內(nèi)容變化莫測，此時(shí)緩存機(jī)制的作用有限，則 RAG 可成為優(yōu)選方案。

總體而言，理想的技術(shù)策略應(yīng)緊密結(jié)合項(xiàng)目特性和可利用的資源數(shù)量。進(jìn)行決策時(shí)，務(wù)必綜合考慮使用成本、準(zhǔn)確性、部署運(yùn)維難度以及提示詞內(nèi)容的可預(yù)測性。希望本文能夠幫助各位讀者準(zhǔn)確理解 RAG 技術(shù)與長上下文技術(shù)間的本質(zhì)區(qū)別，敬請關(guān)注本博客，不要錯(cuò)過后續(xù)精彩內(nèi)容哦~

Thanks for reading!

?

?

———

Priyanka Vergadia

??https://topmate.io/pvergadia??

Head of North America Developer Advocacy @Google | Author | Technical Storyteller | Cloud Computing & AI | bio.link/pvergadia

END

?

原文鏈接：

??https://www.thecloudgirl.dev/blog/rag-vs-large-context-window??