一、為什么需要RAG技術？1.1傳統語言模型的局限性傳統的語言模型，比如GPT3，雖然在生成文本方面表現出色，但它們有一個顯著的局限性：它們依賴于預訓練的參數，無法動態訪問外部知識。這意味著這些模型在處理實時信息、領域特定知識或罕見實體時表現不佳。舉個例子，在問答任務中，模型可能會生成不準確或過時的答案，因為它無法訪問最新的數據。就像你問一個朋友“今天天氣怎么樣？”，但他只能告訴你去年的天氣情況，顯然這...

1.背景從深度神經網絡到能對話、解難題的大型語言模型，技術突破層出不窮。雖然像OpenAI的GPT4這樣的模型展現出驚人的語言理解能力，但它們大多仍停留在"問答助手"階段。真正的進化方向在于開發能自主決策并執行的通用AI智能體。2025年由中國初創公司Monica打造的ManusAI，正是這一領域的佼佼者——全球首個能像人類助手般"思考"并執行任務的真正自主AI。ManusAI的獨特之處在于不僅能提供建議，更能獨立規劃方案、調用工具、執...

1.強化學習在Text2SQL領域的現狀Text2SQL技術是將自然語言轉換為結構化數據庫查詢，通過賦能非技術人員高效操作關系數據庫。當前研究聚焦于基礎模型微調，其中強化學習（RL）被證實能顯著提升模型表現。而獎勵模型（RM）的精心設計尤為重要，其信號質量直接影響微調效果。在現有RL方案中，有三種主流獎勵方案：執行準確率:仍是核心指標，通過查詢正確性提供直觀反饋。BradleyTerry獎勵模型:基于大模型的BradleyTerry獎勵模型（B...

1、RAG研究現狀問答系統（QA）讓用戶能用自然語言從海量資料中精準獲取信息，主要分為兩類：開放域QA依托常識作答封閉域QA則需專業資料支持隨著DeepSeekR1、Grok3等大語言模型（LLM）的突破，文本流暢度和語義理解顯著提升。但這些模型依賴參數記憶，遇到專業術語或復雜推理時，仍可能"胡言亂語"或答非所問。檢索增強生成（RAG）通過在作答前抓取相關片段提升準確性，知識圖譜（KG）則用結構化關系網絡支持多步推理。但現有方案...

1.為什么要提出IKEA隨著可驗證獎勵系統的大規模強化學習（RL）技術突破，以DeepseekR1為代表的推理模型性能顯著提升。這類模型能通過推理激活預訓練知識來處理知識密集型任務，但受限于預訓練語料的局限性和世界知識的動態性，仍存在幻覺問題。當前主流解決方案是賦予模型調用搜索引擎的能力，將其訓練為搜索智能體，使其在強化學習中逐步掌握任務分解與知識檢索能力。然而該方法存在明顯缺陷：其一，過度依賴LLM的工具調用功能...

1.為什么要提出ScaleMCP隨著大型語言模型（LLMs）與工具學習技術的突飛猛進，智能體已能動態對接各類外部工具與API。1.1MCP協議的誕生模型上下文協議（MCP）的誕生，為LLM與外部工具、數據源及提示詞建立了標準化橋梁。MCP是由Anthropic推出的一項開放協議，為大型語言模型（LLM）與外部工具、數據及提示的交互提供標準化框架。開發者可借助MCP服務器開放工具與數據接口，或開發連接這些服務的AI應用（MCP客戶端），大幅降低AI...

1.為什么要提出PaRT框架大型語言模型（LLMs）的突破性進展，正推動社交聊天機器人向更智能、更擬人的方向飛速發展。然而現有系統大多聚焦于情感化應答，卻忽視了主動對話的藝術——那些僅采用被動應答策略的傳統機器人，往往讓用戶陷入單方面推動對話的困境，最終導致互動索然無味。主動對話技術為此提供了破局之道。這類系統能像人類般主動開啟話題（如"您最向往哪個旅游勝地？"），或在察覺用戶興趣減退時巧妙轉場。但當前直...

項目倉庫：https:github.comallenli1231treehopragArxiv:https:arxiv.orgabs2504.20114在人工智能領域，多跳問答（MultihopQuestionAnswering,MHQA）一直是一項極具挑戰性的任務。這類任務要求系統通過多步推理，從不同文檔片段中綜合信息才能得出答案。例如，回答“特朗普的祖父是誰？”這樣的問題，往往需要先檢索“特朗普的父親是弗雷德·特朗普”，再進一步查詢“弗雷德·特朗普的父親是誰”。然而，現有方法依賴大型語言模...

為什么需要GUI視覺定位技術？1.1數字時代的效率革命圖形用戶界面(GraphicalUserInterface,GUI)智能體正在重塑人機交互方式。這類智能體通過模仿人類的視覺感知能力，可以直接"看懂"屏幕內容并執行操作指令。微軟亞洲研究院團隊的研究表明，相比依賴HTML等GUI元數據的傳統方法（存在平臺依賴性和實現差異問題），基于視覺的方法具有更廣泛的適用性。例如，在跨平臺操作場景中，視覺智能體可以統一處理Windows、Web和移動端界面，...

一、為什么需要混合檢索技術？1.1大語言模型的"幻覺"困境大語言模型（LLM,LargeLanguageModel）雖然在文本生成和理解方面表現出色，但存在一個致命缺陷——會產生"幻覺"（Hallucination），即生成看似合理但實際錯誤或無依據的內容。1.2檢索增強生成的技術革新檢索增強生成（RAG,RetrievalAugmentedGeneration）技術應運而生，它通過結合外部知識庫為LLM提供事實依據。傳統RAG系統主要采用兩種檢索方式：稀疏檢索（如BM25算法）...

該框架不僅能夠有效挖掘潛在的跨文檔關系，還能同時去除無關信息和冗余內容。我基于GPT3.5構建的方法在多個常用的知識問答和幻覺檢測數據集上進行了驗證。實驗結果表明，該方法在各種場景和實驗設置下均實現了性能的顯著提升，展現出強大的魯棒性和廣泛的適用性。https:arxiv.orgabs2504.03165一、為什么需要高效動態聚類文檔壓縮技術？1.1大語言模型的挑戰與檢索增強生成（RAG）的興起近年來，大語言模型（LargeLanguageModels...

MESRAG框架，專為提升實體查詢處理能力而設計，確保響應的準確、安全與一致。MESRAG采用主動安全措施，通過預先保護機制確保數據訪問安全。此外，該系統支持實時多模態輸出，包括文本、圖像、音頻和視頻，無縫融入現有RAG架構。一、為什么需要MESRAG技術？1.1傳統RAG系統的局限性傳統的檢索增強生成（RetrievalAugmentedGeneration,RAG）系統雖然在提升大語言模型（LargeLanguageModels,LLMs）的能力方面表現出色，但它們往往只...

構建了一個涵蓋所有基于圖的RAG方法的統一框架，并從宏觀角度進行了總結。接著，在不同類型的問答（QA）數據集上對具有代表性的基于圖的RAG方法進行了全面比較，從具體問題到抽象問題，深入分析了各種方法的表現。通過實驗分析，不僅揭示了基于圖的RAG方法的有效性，還通過結合現有技術，在具體問答和抽象問答任務中發現了優于現有最優方法的新變體。??https:arxiv.orgpdf2503.04338??一、為什么需要圖檢索增強生成（Graphb...

ViDoRAG:VisualDocumentRetrievalAugmentedGenerationviaDynamicIterativeReasoningAgentsViDoRAG——一個專為視覺文檔復雜推理設計的多智能體RAG框架。ViDoRAG采用基于高斯混合模型（GMM）的混合策略，實現高效多模態檢索。為進一步挖掘模型推理潛力，我們設計了一個包含探索、總結與反思的迭代智能體工作流，為研究RAG領域的測試時擴展提供了全新框架，超越現有方法10%以上。https:arxiv.orgabs2502.18017一、為什么需要ViDoR...

一、為什么需要RAG和GraphRAG技術？1.1大模型的局限性大型語言模型（LLMs,LargeLanguageModels）雖然在生成文本方面表現出色，但它們存在一些固有缺陷。比如，LLMs容易出現“幻覺”現象，即生成不準確或虛構的內容。此外，LLMs的上下文窗口有限，無法處理過長的文本，還存在隱私泄露的風險。為了彌補這些不足，檢索增強生成（RAG,RetrievalAugmentedGeneration）技術應運而生。RAG通過從外部數據源檢索相關信息，顯著提升了模型...

一、RAG系統的背景與挑戰在自然語言處理（NLP）領域，大型語言模型（LLMs）如GPT、BERT等已經展現出了強大的文本生成、問答和摘要能力。然而，這些模型也存在一些顯著的局限性。?首先，LLMs的知識是靜態的，這意味著它們無法及時更新以反映新信息，導致生成的回答可能過時。?其次，LLMs有時會生成聽起來合理但事實上錯誤的回答，這種現象被稱為“幻覺”。?最后，LLMs在涉及高級專業領域的知識時，往往缺乏足夠的深度。為了應...

DiversityEnhancesanLLM'sPerformanceinRAGandLongcontextTask大型語言模型（LLMs）的快速發展凸顯了上下文窗口限制的挑戰，這主要是由于自注意力機制的二次時間復雜度（(O(N^2))，其中(N)表示上下文窗口長度）。這一限制影響了問答（Q&A）中的檢索增強生成（RAG）和長上下文摘要等任務。一種常見的方法是選擇與查詢最相似的內容；然而，這通常會導致冗余，并排除多樣化的相關信息?；谧畲筮吘壪嚓P性（MMR）和最遠點采樣（FPS...

WebWalker:BenchmarkingLLMsinWebTraversal檢索增強生成（RAG）在開放域問答任務中表現出色。然而，傳統搜索引擎可能會檢索淺層內容，限制了大型語言模型（LLM）處理復雜、多層次信息的能力。為了解決這個問題，我們引入了WebWalkerQA，一個旨在評估LLM執行網頁遍歷能力的基準。它評估LLM系統性地遍歷網站子頁面以獲取對應信息的能力。同時我們提出了WebWalker，一個通過explorercritic范式模擬人類網頁導航的multiagent框架。...

摘要機器寫作通常依賴檢索增強生成技術，但這些方法受限于模型預定義的范圍，難以生成信息豐富的內容。普通檢索的信息往往缺乏深度、實用性，且冗余問題嚴重，導致生成的文章內容淺顯、重復且缺乏原創性。為此，我們提出了OmniThink框架，它模擬了人類迭代擴展和反思的認知過程。OmniThink的核心在于模擬學習者逐步深化對主題理解的認知行為。實驗表明，OmniThink在不犧牲連貫性和深度的前提下，顯著提升了生成文章的知識密度。...

1.表格問答的現狀表格問答（TQA，TableQuestionAnswering）是指依據表格形式的數據來回答問題。表格問答任務的任務也越來越復雜，要解決這些復雜任務，就得執行多個推理步驟（多步驟）或者運用不同的推理策略（多類別）。。處理TQA中這些復雜實例的一種常見方法是規劃，生成詳細的逐步計劃并引導推理過程。該方向有兩種方法：?針對開源大型語言模型（LLMs）進行微調，但微調需要高質量的數據，通常難以獲取?使用閉源的商業LLM...