談談 RAG 的四個級別
選擇正確的 RAG(檢索增強生成)架構主要取決于具體的用例和實施要求,確保系統符合任務需求。
Agentic RAG 的重要性將日益增加,與Agentic X的概念相一致,其中代理能力嵌入個人助理和工作流程中。
這里的“X”代表代理系統的無限適應性,能夠實現無縫任務自動化和跨不同環境的明智決策,從而提高組織效率和自主性。綜合不同的文檔來源對于有效解決復雜、多部分的查詢至關重要。
一、概述
提供準確的 RAG 實現的挑戰包括檢索相關數據、準確解釋用戶意圖以及利用 LLM 的推理能力完成復雜任務。可以通過像 ReAct 這樣的 RAG 的代理方法增強推理能力,其中創建了事件的推理和行為序列。
我從這項研究中發現一個有趣的事實:它指出沒有一個解決方案可以適合所有數據增強的 LLM 應用程序。
上下文是指圍繞對話的信息,可幫助人工智能理解用戶的意圖并提供相關、連貫的響應。
這包括用戶之前的輸入、當前任務、環境以及任何可能影響對話的外部數據等因素。
有效的上下文處理使人工智能能夠保持一致和個性化的對話,根據正在進行的互動調整響應并確保對話感覺自然且有意義。
用戶意圖檢測
在許多情況下,系統性能不佳的根源要么是未能確定任務的重點,要么是需要多種技能組合的任務,必須仔細區分這些技能才能獲得最佳結果。
意圖是指用戶輸入背后的潛在目的或目標,代表用戶希望通過查詢實現或傳達什么。
識別意圖可以讓人工智能系統做出適當的反應。
二、RAG數據分類
級別 1:顯式事實查詢
直接詢問具體的已知事實。
查詢是關于給定數據中直接存在的明確事實,不需要任何額外的推理。
這是最簡單的查詢形式,其中模型的任務主要是定位和提取相關信息。當用戶提出問題時,RAG 實現會針對分塊數據中包含的事實進行定位。
級別 2:隱式事實查詢
間接尋找事實,需要解釋來確定答案。
查詢涉及數據中的隱含事實,這些事實不是顯而易見的,可能需要一定程度的常識推理或基本的邏輯推論。
必要的信息可能分布在多個部分或需要簡單的推理。
例如,What is the majority party now in the country where Canberra is located?可以通過將堪培拉位于澳大利亞這一事實與澳大利亞當前多數黨的信息結合起來回答這個問題。
在第二級中,我們開始看到推理和行動元素的引入,因此對 RAG 采取了更具代理性的方法。
級別 3:可解釋的原理查詢
專注于理解事實背后的推理,并需要支持邏輯解釋的數據。
這些查詢既需要事實知識,也需要解釋和應用對數據背景至關重要的特定領域指南的能力。
這樣的理由通常在外部資源中提供,但在通用語言模型的初始預訓練中很少遇到。
例如,在財務審計中,LLM可能需要遵循監管合規指南來評估公司的財務報表是否符合標準。
同樣,在技術支持方面,可能需要遵循故障排除工作流程來協助用戶,確保響應準確并符合既定協議。
級別 4:隱藏的理性質疑
尋求更深入的見解,通常需要基于上下文的推理來揭示潛在的含義或影響。
此類查詢需要人工智能根據數據中觀察到的模式和結果來推斷未明確記錄的復雜原理。
這些隱藏的理由涉及隱含的推理和邏輯聯系,很難精確定位和提取。
例如,在 IT 運營中,語言模型可能會分析過去事件解決的模式以確定成功的策略。
同樣,在軟件開發中,人工智能可以借鑒過去的調試案例來推斷有效的問題解決方法。通過綜合這些隱含的洞察,模型能夠提供反映細致入微、基于經驗的決策的響應。
可解釋和隱藏的原理將焦點轉移到 RAG 系統理解和應用數據背后的推理的能力。
這些層次需要更深層次的認知過程,其中代理框架與專家知識相一致或從非結構化歷史數據中提取見解。
三、小結
根據研究并考慮上圖,需要明確事實的查詢和依賴于隱性推理的查詢之間存在區別。
例如,有關簽證資格的查詢需要領事館指南中的明確事實(L3),而有關對公司未來發展的經濟影響的問題則需要對財務報告和經濟趨勢進行分析(L4)。
兩種情況下的數據依賴性都強調了外部來源的重要性——無論是官方文獻還是專家分析。
在這兩種情況下,提供理由有助于將回答內容具體化,不僅提供答案,還提供背后的合理推理。