前面文章??什么時候用GraphRAG？RAGVSGraphRAG綜合分析???如下表經過評測提到：HippoRAG2生成的圖更為密集，提高了信息連接性和覆蓋范圍。并且這種變種的GraphRAG在需要多跳推理和上下文綜合的任務中表現優異。下面我們來看一看HippoRAG2如何通過增加知識圖譜等結構來增強向量嵌入，以解決一些差距，即理解和關聯性。供參考。方法HippoRAG模擬了大腦皮層和海馬體在人類記憶中的不同作用。使用LLM將語料庫轉換為知識圖譜(KG...

Embedding和reranker模型的核心思想是通過任務感知的方式評估相關性。給定一個查詢和一個文檔，模型根據由指令定義的相似性標準評估它們的相關性。下面來詳細的看下Qwen3Embedding模型架構、訓練方法、數據策略，供參考。模型架構Qwen3Embedding、reranker模型架構Qwen3嵌入和重排序模型基于Qwen3基礎模型的densebackbone，提供三種參數規模：0.6B、4B和8B。這些模型通過初始化Qwen3基礎模型來利用其在文本建模和指令遵循方面的...

現有工作主要包括圖表問答（ChartQA）基準、圖表理解模型和視覺答案定位（VAG）。ChartQA基準如FigureQA、DVQA、PlotQA和ChartQA等，主要集中在圖表問答任務上，但缺乏顯式的視覺定位，從而忽略了VLMs在ChartQA上的可解釋性。RefChartQA通過將ChartQA與視覺定位相結合，并提供了一個新的基準測試，使模型能夠引用圖表圖像中的多個粒度元素。該基準擴展了現有的ChartQA資源，專注于涉及算術或邏輯推理的問題。RefChartQA框架：將...

前期《文檔智能》專欄詳細中介紹了文檔智能解析詳細pipline鏈路技術方案，如下圖：現在來看一個新思路，指出pipline鏈路依賴大量標注數據、并且會出現錯誤傳播問題，導致解析效果不佳，故提出一個基于布局強化學習（layoutRL）的多模態大模型的端到端的解析框架，通過強化學習（GRPO）的方式訓練模型的布局感知能力。（ps：筆者看來，在通用場景下解析效果也許并不會有文中評價的那么好，但這個數據合成思路及強化學習的訓練方...

手動創建幻燈片既費時又費力，如何從參考圖像自動生成可編輯的幻燈片？現有的問題：如Autopresent的方法，通過構建大批量的SFT數據生成ppt代碼來生成ppt。然而，自然語言描述難以準確描述幻燈片的視覺設計，LLMs在處理復雜PPT時存在局限性，特別是包含多樣元素類型和高元素密度的情況；LLMs對pythonpptx庫的理解不足，導致生成的代碼可能存在語法錯誤或不可執行。SlideCoder提出一個基于RAG的思想布局感知的檢索增強框架，用于...

系統的評估總是有趣的，在前文，我們通過一個類似的benchmark得出結論：GraphRAG在需要多跳推理和上下文綜合的任務中表現優異，但在簡單事實檢索任務中不如傳統RAG。見《???什么時候用GraphRAG？RAGVSGraphRAG綜合分析??》本文，再來看一個評估工作，同樣是一個GraphRAGbench，也再次通過評估得出GraphRAG適合多跳推理場景，并且系統的評估了九大GraphRAG（RAPTOR、LightRAG、GraphRAG、GRetriever、HippoRAG、GFMRAG、DAL...

RAGVSGraphRAG最近的研究報告稱，在許多實際任務中，GraphRAG的表現往往不如普通的RAG。因此產生一個問題：GraphRAG真的有效嗎？在哪些場景下，GraphRAG有收益？為了解決這個問題，提出GraphRAGBench，這是一個評測GraphRAG的基準，目的是評估GraphRAG模型在層次知識檢索和深度上下文推理方面的性能。文章指出的評測方式及評測結論可以參考。GraphRAGBench具有一個全面的數據集，任務難度逐漸增加，涵蓋事實檢索、復雜推理、上...

目前的如微軟開源的GraphRAG的工作流程都較為復雜，難以孤立地評估各個組件的貢獻，傳統的檢索方法在處理復雜推理任務時可能不夠有效，特別是在需要理解實體間關系或多跳知識的情況下。先說結論，看完后感覺這個框架性能上不會比GraphRAG高，僅在單一數據集上進行了評測，不過優化思路可以借鑒下，比如：雙層次檢索提高圖檢索準確性等。供參考。方法整體流程圖構建及索引這一步主要是使用LLM構建知識圖譜（KG），涉及預處理（多...

給定一個問題Q，基于圖的RAG的關鍵思想是從圖中檢索相關信息（例如，節點、子圖或文本信息），將其與Q一起作為提示，然后輸入到LLM中。如下圖：因此，現有工作的工作流主要包括兩個階段：(1)離線索引：從給定語料庫D構建知識圖譜G(V,E)，其中每個頂點代表一個實體，每條邊表示兩個實體之間的關系，并基于知識圖譜構建索引。(2)在線檢索：使用索引從知識圖譜中檢索相關信息（例如節點、子圖或文本信息），并將檢索到的信息提供給...

Walk&Retrieve基于知識圖譜，利用基于圖遍歷和知識表述來進行零樣本RAG的語料庫生成。解決RAG系統的幻覺問題。該框架思路比較簡單，核心點在于零樣本RAG的語料庫生成，下面來看看，供參考。方法架構語料生成在框架中，語料生成該方法的核心步驟。該階段從知識圖譜中提取相關信息，并將其轉化為適合LLM處理的文本格式。語料生成包括以下幾個步驟：基于圖的遍歷、知識表示和索引。1.基于圖的遍歷隨機游走：隨機游走是一種隨機過程...

最近字節、滑鐵盧大學相關團隊同時放出了他們使用Agent進行海報生成的技術方案，P2P和Paper2Poster，傳統方案如類似ppt生成等思路，基本上采用固定的模版，提取相關的關鍵元素進行模版填充，因此，海報生成的質量完全依賴于規則模版的豐富程度。下面來看一下這兩個團隊使用Agent進行海報生成的技術思路，覆蓋多種技術鏈路，如：文檔智能解析、LLM、布局生成、Agent等。比如有趣，下面來看看這兩個技術方案，供參考。學術論文>學...

下面來看一下字節最新開源的多模態文檔解析方案，筆者實際測下來性能還有待提升（鑒于合成數據，泛化性還較差，存在幻覺），不過思路可以借鑒下，供參考。Dolphin性能創新點兩階段解析架構：Dolphin采用了分析解析范式，首先進行頁面級布局分析，生成結構化布局元素序列，然后在第二階段通過異構錨點提示進行并行內容解析。端到端的文檔解析，模型參數量小（300M+），易于落地提供了數據合成的思路，大規模數據增強模型的泛化能...

模型架構Dense模型結構改進：GQA、SwiGLU、RoPE、RMSNormwithprenormalization與Qwen2.5相似。移除了Qwen2中的移除QKV偏置，減少模型復雜性，在注意力機制中引入QKNorm來確保穩定訓練。MoE模型結構改進：改進點描述細粒度專家分割增強模型的表達能力和效率。全局批次負載均衡損失鼓勵專家專業化，提高模型整體性能。移除共享專家與Qwen2.5MoE不同，Qwen3MoE設計中排除了共享專家。128個總專家，每個token激活8個專家增加專家數...

基于LLM的生成式檢索（GR）在進行文檔知識檢索時或多或少的會引入幻覺，在一些對精度要求比較高的場景（如：金融等）如何緩解幻覺，下面來看下支付寶生成式檢索緩解幻覺方案，供參考。方法技術框架如上圖所示，框架分為兩部分：知識蒸餾推理和決策Agent知識蒸餾推理目的：通過利用更大規模的LLM生成顯式的推理數據，增強較小規模的LLMbasedGR模型的訓練。知識蒸餾推理模塊提升了GR模型的檢索精度，減少了幻覺現象。思路如下：推...

如何在多個語料庫（多源異構知識庫，如：文本、圖片、視頻）中檢索和整合來自不同模態和粒度的知識？UniversalRAG：一個多模態RAG框架，用于從多個模態和粒度的語料庫中檢索和整合知識。下面來看看思路，供參考。方法(A)單一模態的RAG僅檢索一種模態的數據。(B)單一語料庫的RAG專注于檢索數據模態，而忽略語義。(C)UniversalRAG使用路由器和多個語料庫有效地支持多樣化的查詢，涵蓋不同的模態和粒度。從上圖可以看到，Universal...

閱讀順序在文檔智能解析中的位置閱讀順序檢測旨在捕獲人類讀者能夠自然理解的單詞序列?，F有的OCR引擎通常按照從上到下、從左到右的方式排列識別到的文本行，但這并不適用于某些文檔類型，如多欄模板、表格等。LayoutReader模型使用seq2seq模型捕獲文本和布局信息，用于閱讀順序預測，在實驗中表現出色，并顯著提高了開源和商業OCR引擎在文本行排序方面的表現。Github:https:github.comyujunhuicsLayoutReader權重地址:https:ww...

前期也提到，在實際場景中，用戶通常需要檢索多模態文檔，包括文本、圖像、表格和圖表。這需要一個更復雜的檢索系統，能夠處理多模態信息，并根據用戶查詢提供相關文檔或段落。檢索多模態文檔將有助于AI聊天機器人、搜索引擎和其他應用程序向用戶提供更準確、更相關的信息。因此衍生了一系列的多模態RAG方案，如：??開源多模態RAG的視覺文檔(OCRFree)檢索增強生成方案VDocRAG???提到的諸多方案。下面來看看www會議開設的多...

基于視覺編碼器的MLLM的基本構成：MLLM通常由預訓練的模態編碼器、預訓練的LLM和一個連接它們的模態接口三個模塊組成。模態編碼器(如：CLIPViT視覺編碼器、Whisper音頻編碼器等)將原始信息（如圖像或音頻）壓縮成更緊湊的表示。預訓練的LLM則負責理解和推理處理過的信號。模態接口用于對齊不同的模態，實現異構模態表征空間的語義對齊。下面這張圖概括的比較好。上述工作都是基于視覺編碼器的多模態大模型，下面來看一個Encoder...

下面我們來看一個用RAG的思路構建文檔級別知識圖譜構建框架思路，這個思路要解決的問題是如何自動構建文檔級別的知識圖譜。傳統的知識圖譜構建方法面臨長文本處理中的長距離遺忘問題、復雜實體消歧、跨文檔知識整合不足的問題。整體思路可以參考下。方法上圖的流程：RAKG框架通過句子分割和向量化處理文檔，提取初步實體，并執行實體消歧和向量化。處理后的實體經過語料庫回顧檢索以獲取相關文本和圖結構檢索以獲取相關知識圖譜...

下面來看一個新的RAG框架VDocRAG，用于解決視覺文檔問答問題。視覺文檔問答概述OpenDocVQA任務的目標是給定一個文檔圖像集合和一個問題，通過找到相關的文檔圖像來輸出答案。任務分為兩個階段：視覺文檔檢索（VisualDocumentRetrieval）：文檔視覺問答（DocumentVQA）：方法架構VDocRAG由兩個主要組件組成：VDocRetriever和VDocGenerator，下面來看看這兩個組件。VDocRetriever（檢索器）VDocRetriever基于LVLM的雙編碼器架構，...