盡管LLM在內容生成方面表現出色，但需要采用語義分塊和向量嵌入等技術來解決復雜數據環境中的搜索問題。

大型語言模型（LLM）的涌現推動了信息檢索和人機交互的范式轉變。這些模型在大量的文本語料庫上進行訓練，并針對預測語言任務進行了優化，在響應查詢、總結文本內容和生成上下文相關信息方面展現出了顯著成效。

然而，盡管LLM具有令人印象深刻的生成能力，但它們并不能從本質上解決結構化和非結構化數據環境中搜索和檢索的復雜性。與其相反，它們需要使用語義分塊、向量嵌入和上下文感知個性化等先進技術進行增強，以提高優化精度和召回率。

本文探討了LLM在解決搜索問題方面的固有局限性，強調了內容生成和檢索效率之間的脫節。本文探討了通過復雜的索引、排序和上下文過濾方法來增強它們在搜索架構中效用的策略，并采用案例研究的方法來揭示LLM在信息檢索過程中的幕后操作。

案例研究：餐館老板的查詢

以華盛頓州西雅圖的一位餐館老板為例，這名用戶正在研究在紐約開設餐廳的政策，并尋求有關薪酬、工作時間和許可要求的信息。現在，想象一下開發一個基于LLM的聊天機器人為美國各地的餐館老板提供幫助，這需要了解美國各州縣的政策細節。

內容生成與檢索之間的差異

企業搜索系統的一個主要挑戰是內容創建和以用戶為中心的信息檢索之間的不對稱性。技術文檔、公司政策和特定領域的知識庫通常以異構的、非結構化的格式存在，使得高效檢索變得困難。雖然LLM可以從這些語料庫中提取和綜合見解，但它們依賴于概率令牌排序的依賴而不是確定性索引機制，導致了結果精度存在可變性和不一致性。

傳統的搜索架構利用元數據驅動的索引、基于關鍵字的檢索啟發式和相關性排序算法來增強文檔的可發現性。相比之下，LLM優先考慮流暢性和上下文連貫性，而不是嚴格的事實檢索，這常常導致幻覺——雖然在語法上看似合理，但在事實上可能不準確，或者在語義上與用戶意圖不一致。

LLM本質上是無狀態的設計

LLM的一個關鍵方面是它們的無狀態特性：除了單一的輸入-輸出交換之外，它們不會保留過去交互的記憶。除非在輸入提示符中明確地提供會話上下文，否則每個查詢都是獨立處理的。

然而，像ChatGPT和Claude這樣的應用程序似乎記住了上下文。這是通過應用程序層的技術實現的，例如：

• 對話歷史記錄。在提示符中傳遞先前的交互以維護上下文。
• 外部API。集成實時數據源以更新信息。
• 基于對話的架構。實現跟蹤和管理對話的邏輯。
• 個性化。存儲用戶屬性以定制響應。

從本質上來說，LLM本身并不保留過去的對話。與其相反，應用程序必須在每個提示符中提供相關的歷史上下文。各種優化可以提高效率，例如總結之前的對話而不是包括整個歷史記錄。目前可以假設應用程序所有者將三個主要輸入傳遞給LLM：

• 最新用戶查詢。
• 通過用戶屬性對用戶進行個性化設置。
• 對話歷史。

走向搜索：RAG如何在搜索中變得相關

在上述設計中，如果只傳遞三個輸入（用戶查詢、用戶屬性和對話歷史），則LLM僅依賴其預訓練的知識進行回應，其中可能不包括最新的策略更新。為了解決這個問題，需要第四個輸入——相關的政策文件。這就是檢索增強生成（RAG）發揮重要作用的地方：

• 檢索。從AWS S3或數據庫等源獲取最新的策略文檔。
• 增強。將檢索到的內容合并到提示符中。
• 生成。使用增強提示來生成響應，確保LLM優先考慮實時和準確的信息而不是預先訓練的知識。

RAG的關鍵方面是指導LLM依賴檢索到的文檔而不是過時的訓練數據，從而顯著提高響應的相關性和準確性。

在當前的設計中，如果僅傳遞用戶查詢、用戶屬性和對話歷史這三個輸入，LLM將完全依賴于其預訓練的知識。盡管它可能在訓練過程中遇到過相關政策，但其回應存在過時甚至錯誤的風險，因為這些回應反映的是訓練時的政策狀態，而不是實時更新的政策狀態。

為了確保準確性，必須引入第四種輸入——相關的政策文件。由于LLM是無狀態的，它們在會話之后不會保留先前的知識。為了整合實時策略，系統必須在將文檔傳遞到提示符之前下載、解析和格式化文檔。這種結構化的方法確保響應是基于當前的政策，而不是過時的訓練數據。

通過明確地指導LLM依賴于檢索的文檔，RAG彌合了搜索和生成之間的差距，將LLM轉換為動態的實時知識系統，而不是靜態的信息存儲庫。以下顯示了更新后的提示，其中包括將政策文檔作為LLM的另一個輸入。

LLM的上下文窗口的硬件限制是什么？

由于計算和內存限制，LLM具有固定的上下文長度。LLM的上下文窗口指的是模型在單個輸入提示符中可以處理的令牌（單詞、子詞或字符，具體取決于模型）的最大數量。這包括輸入文本和生成的輸出。上下文窗口的大小是模型構施加的硬件限制；例如，GPT-4有128K的限制，而Claude Sonnet有200K的限制。

如果輸入超過這一限制，則必須使用以下技術截斷或處理：

• 滑動窗口。保留最近的令牌并丟棄舊的令牌。
• 摘要。壓縮過去的互動以適應限制。
• 內存增加。使用外部存儲（例如矢量數據庫）動態地檢索相關的過去交互。
• 挑選相關的文檔。當使用RAG時，技巧是從文檔中挑選最相關的部分以適應上下文長度。

當組合大小超過文檔上下文窗口時，如何跨文檔搜索

必須將幾種高級方法集成到檢索管道中，以解決LLM在為RAG場景搜索大量文檔時的局限性。

在主要的企業級聊天機器人應用中，遵循以下架構來解決這個問題：

1.多格式數據提取的高級解析

企業知識庫通常包括各種文檔格式，包括純文本（.txt）、標記（.md、.html）、結構化數據（.csv、.xlsx）、格式化報告（.pdf、.docx），有時甚至是圖像形式。必須采用強大的解析技術來提取和規范這些格式的數據，以促進無縫檢索。

例如，如果想讓圖像信息成為搜索的一部分，LLM也用于對文檔進行語義解析以從圖像中獲取信息。混合解析方法將基于規則的提取與人工智能驅動的文本結構相結合，可以顯著提高文檔的可訪問性。

2.上下文粒度的分塊處理

將廣泛的語篇語料庫分解為語義有意義的單元，提高了可檢索性和語境一致性。各種分塊方法包括：

• 固定長度分段。按預定義的令牌閾值拆分文本（例如300個令牌），以確保統一的可檢索性。
• 重疊分塊。保持一定程度的內容重疊，以保持連續塊之間的上下文連續性。
• 分層分塊。文本結構化為嵌套段，以促進多層級檢索粒度。
• 語義聚類。基于詞匯相似性和概念一致性的文本聚合，而不是任意的令牌限制。

3.向量嵌入和高維搜索優化

LLM可以生成文本數據的密集向量表示，通過高維向量搜索方法實現基于相似性的檢索。主要優勢包括：

• 增強查詢與相關文檔的語義匹配。
• 通過神經相關性評分的搜索結果的上下文感知排名。
• 基于用戶特定交互歷史的自適應個性化。
• 多模態檢索，集成文本和非文本數據源。

4.精度優化的重新排序機制

為了確保檢索結果與用戶意圖一致，必須采用復雜的重新排序策略。有效的重新排序方法包括：

• TF-IDF和BM25評分。優先考慮術語相關性的統計加權技術。
• 神經關聯模型。基于機器學習的自適應優化搜索輸出排序的排序機制。
• 混合檢索架構。將關鍵字索引與基于向量的檢索相結合，以實現全面的排名優化。

5.通過用戶分析實現上下文個性化

結合特定于用戶的屬性（例如角色、位置和訪問級別），可以提高搜索結果的準確性。系統檢索最相關的文檔，并根據用戶特定的屬性對它們進行排序，以確保與訪問權限的相關性和遵從性。LLM可以通過利用動態用戶分析來根據個人用戶的上下文框架定制響應，從而提高搜索效率。

走向混合搜索框架：LLM與傳統檢索系統的融合

為了充分利用LLM在搜索中的能力，將語義向量索引與人工智能驅動的排名模型集成在一起的混合檢索架構勢在必行。以下增強是改進這種混合范式的關鍵：

• 特定領域的微調。針對專門語料庫的定制LLM培訓，以提高特定領域的準確性。
• 動態搜索過濾器。上下文感知過濾，根據用戶意圖和元數據參數調整檢索約束。
• 多模式集成。將搜索功能擴展到文本之外，以包含結構化數據、表格內容和可視化信息。

提示優化策略。實現緩存、響應路由和查詢預處理，以最大限度地減少生成延遲和幻覺風險。

用于改進語義搜索的其他模式

結合以下先進技術，以提高基于RAG檢索系統的檢索階段。通過結合這些策略，基于RAG的搜索系統提高了檢索準確性、上下文相關性和響應效率，使它們在實際應用程序中更加可靠。

特定領域的嵌入

通用嵌入可能無法捕捉諸如醫學、法律或金融等專業領域的細微差別。通過在特定領域的語料庫上訓練嵌入，可以確保向量表示與相關術語、上下文和語義更緊密地一致。這提高了基于相似度的檢索的準確性，使搜索結果更精確，更符合上下文。

高級解析

許多企業知識庫包含各種文檔格式，例如PDF、電子表格、HTML頁面和掃描圖像。從這些格式中提取結構化信息需要人工智能支持的解析技術，包括掃描文檔的光學字符識別（OCR）、表格數據的基于規則的提取以及非結構化文本的基于NLP的結構化。正確的解析確保信息無論格式如何，都可以訪問和搜索。

動態過濾器

通過應用基于元數據、用戶意圖和上下文約束的動態過濾機制，可以顯著提高搜索精度。例如，可以根據用戶的位置、日期范圍、文檔類型或訪問權限應用過濾器，從而確保檢索的結果高度相關和個性化。這些過濾器可以優化搜索輸出并減少結果中的噪聲。

表格數據和圖像處理

傳統的搜索系統難以處理非文本數據，例如表格、圖表和圖像。將表格數據轉換為結構化嵌入允許檢索模型識別數據點內的模式和關系。同樣，圖像到文本模型和多模式嵌入使搜索系統能夠處理和檢索相關的視覺內容，從而將搜索功能擴展到傳統的基于文本的方法之外。

排序和重新排序

一旦檢索到文檔，就必須對它們進行排序，以優先考慮最相關的文檔。將BM25和TF-IDF等傳統排序技術與神經重新排序模型相結合，改進了結果排序。混合排名策略確保搜索結果與語義意圖保持一致，減少了對關鍵字匹配的依賴，并提高了復雜搜索查詢的準確性。

提示緩存和路由

為類似的請求反復查詢LLM的效率很低。提示緩存是LLM框架中的一項新技術，用于存儲經常使用的查詢和響應，從而顯著降低計算成本和延遲。此外，提示路由通過最合適的檢索管道引導查詢，從而優化資源使用并縮短響應時間。這可以確保用戶在保持效率的同時獲得更快、更相關的結果。

結論

雖然LLM在搜索能力方面帶來了革命性的進步，但它們還沒有消除結構化檢索框架的必要性。語義分塊、基于向量的索引、動態用戶分析以及復雜的排序啟發式的集成對于提高搜索精度仍然至關重要。尋求利用LLM進行企業搜索的組織必須采用多種方法，將人工智能的生成優勢與傳統搜索方法的確定性和嚴謹性相結合。

最終，搜索的發展可能會趨同于一種混合范式——在這種范式中，LLM會增強而不是取代現有的檢索技術。通過持續的改進和戰略增強，可以有效地利用LLM來創建更直觀、上下文感知和準確的搜索體驗，減輕其固有的局限性，并開辟信息檢索的新領域。
原文標題：??Have LLMs Solved the Search Problem???，作者：Avi Dubey