在數字化時代，視覺信息在知識傳遞和決策支持中的重要性日益凸顯。然而，傳統的檢索增強型生成（RAG）方法在處理視覺豐富信息時面臨著諸多挑戰。一方面，傳統的基于文本的方法無法處理視覺相關數據；另一方面，現有的視覺 RAG 方法受限于定義的固定流程，難以有效激活模型的推理能力。

來自阿里巴巴通義實驗室的最新研究成果 ——VRAG-RL（Empower Vision-Perception-Based RAG for Visually Rich Information Understanding via Iterative Reasoning with Reinforcement Learning），將強化學習算法引入多模態智能體訓練，借助迭代推理和視覺感知空間，全方位提升視覺語言模型（VLMs）在檢索、推理和理解視覺信息方面的能力，為純視覺檢索增強生成任務提供有效解決方案，代碼、模型全面開源！

• Paper 地址：arxiv.org/pdf/2505.22019
• Github 地址：https://github.com/Alibaba-NLP/VRAG

為了解決現有 RAG 方法在處理視覺豐富文檔時面臨的挑戰，尤其是生成階段推理能力不足的問題，我們推出了 VRAG-RL，該框架引入強化學習，專為視覺豐富信息復雜推理量身定制。VRAG-RL 通過定義視覺感知動作空間，使模型能夠從粗到細地逐步聚焦信息密集區域，精準提取關鍵視覺信息，從而全方位提升視覺語言模型（VLMs）在檢索、推理和理解視覺信息方面的能力。

與此同時，我們注意到現有的方法在將用戶查詢轉化為搜索引擎可理解的檢索請求時，常常因無法精準表達需求而難以檢索到相關信息，往往存在語義偏差或信息缺失的問題。這不僅影響了檢索結果的相關性，還限制了模型在后續生成階段的推理能力。為了解決這一問題，VRAG-RL 引入了一種創新的檢索機制，通過結合視覺感知動作和強化學習，使模型能夠更有效地與搜索引擎進行交互。這種機制不僅能夠幫助模型更精準地表達檢索需求，還能夠在檢索過程中動態調整檢索策略，從而顯著提升檢索效率和結果的相關性。

重定義感知行動空間

視覺仿生思考新范式

傳統 RAG 方法在處理視覺信息時，往往采用固定的檢索 - 生成流程，即先通過搜索引擎檢索相關信息，然后直接生成答案。這種固定流程忽略了視覺信息的獨特性，無法充分利用視覺數據中的豐富細節，導致推理能力受限。

相比之下，VRAG-RL 徹底革新了傳統的檢索生成范式，引入了多樣化的視覺感知動作，其中包含了多種視覺感知動作，如區域選擇、裁剪、縮放等。這些動作使 VLMs 能夠從粗粒度到細粒度逐步聚焦信息密集區域，精準提取關鍵視覺信息。例如，在處理復雜的圖表或布局時，模型可以先從整體圖像中提取大致信息，然后逐步聚焦到信息密集的區域，通過裁剪和縮放操作，獲取更清晰、更詳細的視覺信息。這種從粗粒度到細粒度的感知方式，不僅提高了模型對視覺信息的理解能力，還顯著提升了檢索效率，使模型能夠更快速地定位到與問題相關的圖像內容。

VRAG-RL 采用了多專家采樣策略構建訓練數據，大規模模型負責確定整體的推理路徑，而專家模型則在大規模模型的指導下，對圖像中的關鍵區域進行精確標注，結合大規模模型的推理能力和專家模型的精確標注能力，模型能夠在訓練過程中學習到更有效的視覺感知策略，顯著提升了模型在實際應用中的表現。

檢索與推理協同優化

效率與深度雙重提升

VRAG-RL 的細粒度獎勵機制將檢索效率、模式一致性與生成質量三方面因素融合，引導模型在與搜索引擎的交互中不斷優化其檢索與推理路徑。  

• 檢索效率獎勵 ：借鑒信息檢索領域廣泛使用的 NDCG（Normalized Discounted Cumulative Gain）指標，激勵模型優先檢索相關度高的圖像內容，快速構建高質量上下文；  
• 模式一致性獎勵 ：確保模型遵循預設的推理邏輯路徑，避免因模式偏差導致生成結果偏離任務目標；  
• 生成質量獎勵 ：通過評估模型對生成答案的質量打分，引導模型輸出更準確、連貫的答案。  

這種多維度獎勵機制實現了檢索與推理的雙向驅動——高效的檢索為深入推理提供支撐，而推理反饋又進一步指導模型優化檢索策略，形成閉環優化。

強化學習賦能多模態智能體訓練

VRAG-RL 基于強化學習的訓練策略，引入業界領先的 GRPO 算法，讓視覺語言模型（VLMs）在與搜索引擎的多輪交互中，持續優化檢索與推理能力。同時，通過本地部署搜索引擎模擬真實世界應用場景，實現搜索引擎調用零成本，模型訓練更加高效。這種訓練方式，不僅提升了模型的泛化能力，使其在不同領域、不同類型的視覺任務中都能表現出色，為多模態智能體的訓練提供全新的解決方案。

實驗分析

VRAG-RL 在各個基準數據集上均取得了顯著優于現有方法的性能，涵蓋了從單跳到多跳推理、從文本到圖表和布局等多種復雜的視覺和語言任務類型。實驗結果表明，VRAG-RL 在處理視覺豐富信息時具有顯著的優勢，能夠更有效地進行檢索、推理和生成高質量的答案。無論是在傳統的 prompt-based 方法（如 Vanilla RAG 和 ReAct RAG）還是在基于強化學習的方法（如 Search-R1）上，VRAG-RL 都展現出了顯著的性能提升。

在傳統的 RAG 方法中，模型通常在進行一次或多次檢索后直接生成答案。然而，在處理復雜的視覺任務時，這種方法往往表現不佳，因為它缺乏對視覺信息的深入理解和多輪推理能力。

相比之下，我們的 VRAG-RL 方法支持多輪交互。具體來說，通過定義視覺感知動作空間，VRAG-RL 能夠在推理階段逐步聚焦于信息密集區域，從而實現從粗到細的信息獲取。同時，該方法通過優化檢索效率和推理路徑，在保持高效率的同時，顯著提升了模型在視覺任務上的性能。

未來展望

開啟視覺感知驅動多模態推理的新時代

VRAG-RL 為視覺豐富信息的檢索增強生成任務開辟了新的道路。未來，研究團隊計劃進一步拓展模型的能力，引入更多模仿人類處理復雜信息的動作，使模型能夠更深入地進行思考。同時，團隊還將致力于減少模型的幻覺現象，通過引入更先進的模型架構和訓練方法，進一步提高框架的準確性和可靠性，推動視覺語言模型在更多實際應用場景中的落地與發展。