眾所周知，目前的多模態推理系統大多依賴于靜態的視覺信息處理方式，即在推理開始時模型提取全局視覺信息，然后完全依靠文本推理進行后續決策。

這種方法存在明顯的缺陷。隨著推理鏈的延展，模型往往逐漸喪失對視覺內容的關注，導致最終結論缺乏準確的視覺依據。例如，在處理數學視覺題目或科學圖表時，當前模型僅使用一次性的視覺輸入，而無法在推理過程中動態調整焦點，這使得許多細節被忽略，推理質量受限。

更進一步，現有的大多數 MLLMs 并沒有真正實現自適應視覺交互。大多數方法仍沿用傳統的“視覺+文本”拼接模式，而忽視了推理過程中對于視覺區域的精確定位和動態調整。

簡單來說，它們“看一遍”圖像后便不再返回檢查，而許多復雜任務恰恰需要模型在不同推理階段反復關注關鍵視覺細節，進行補充信息采集。

近日，來自北京大學國家軟件工程研究中心、阿里巴巴集團和 極氪智能科技控股有限公司 的專家研究團隊提出了 VLM-R3（Visual Language Model with Region Recognition and Reasoning），一種能夠動態定位、采集和優化視覺區域的推理框架。核心思想是讓模型不僅能夠“看到”圖像，還能“再次查看”特定區域，以增強推理的精準度。

這一創新策略針對“視覺信息隨推理衰減”的問題做出了重要改進。VLM-R3 賦予模型自主決策能力，使其能夠：

• 在推理過程中決定何時需要額外視覺證據；
• 選擇哪里進行視覺區域采集；
• 通過動態調整，精準整合視覺內容至推理鏈中。

這種模式不僅增強了模型的視覺推理能力，還創造了一種更加符合人類思維方式的推理路徑。與傳統方法相比，VLM-R3 能夠反復核查圖像細節，提升視覺證據在推理鏈中的作用，尤其是在復雜視覺任務（如數學、科學問題解答）上的表現尤為突出。

圖1：該圖直觀地展示了傳統的基于文本的CoT推理與研究團隊提出的VLM-R3方法之間的對比，該方法在交錯的視覺文本推理鏈中集成了區域基礎和細化。雖然傳統的基于文本的推理在分析需要與特定視覺區域進行動態、迭代和細粒度交互的場景時失敗了，但研究團隊的方法通過精確識別和關注關鍵視覺元素（如本例中的“紅洞火鍋”標志），通過有針對性的視覺推理得出準確的結論，從而取得了成功。

VLM-R3 在多模態推理的基礎上做出了三項核心貢獻：

引入 Visuo-Lingual Interleaved Rationale（VLIR）數據集。該數據集專門用于訓練和評估模型在視覺-語言交錯推理任務中的表現，包含顯式視覺區域選擇、圖像裁剪指令以及語義增強提示。這使得模型能夠更自然地將圖像內容嵌入推理鏈，而非僅僅在開頭進行靜態綁定。

構建區域條件強化策略優化（R-GRPO）。這一訓練策略允許模型在推理過程中動態選擇有信息量的視覺區域，并執行相應的圖像轉換（如裁剪、縮放），然后將所得視覺上下文整合入推理鏈。R-GRPO 采用強化學習框架，以獎勵機制鼓勵模型做出更合理的視覺證據選擇，并優化其推理策略。

在多項公開基準上取得了顯著性能提升。研究團隊在 MathVista、ScienceQA、MMMU、DocQA等多個任務上進行了評估，VLM-R3 在零樣本和少樣本推理中均優于現有最先進模型，并在涉及復雜空間推理或精細視覺線索提取的任務上表現尤為卓越。

VLM-R3 的研究團隊匯集了來自 北京大學國家軟件工程研究中心、阿里巴巴集團和 極氪智能科技控股有限公司 的專家，跨學科融合了計算機科學、人工智能、大數據處理以及智能技術等多個領域。他們是Chaoya Jiang, Yongrui Heng, Wei Ye, Han Yang, Haiyang Xu, Ming Yan, Ji Zhang, Fei Huang, Shikun Zhang,這種跨行業、多學科的合作模式，使得VLM-R3 不僅具備強大的學術支撐，更具備實際落地應用的可行性，為未來智能推理系統的優化和擴展提供了新的可能。

論文鏈接：??https://arxiv.org/pdf/2505.16192??

1.VLM-R3 方法詳解

當你在分析一張復雜的科學圖表或者數學題目，AI 只在推理開始時“瞥了一眼”圖像，然后完全依賴文本進行后續推理。這種做法雖然能在一些任務上取得不錯的成績，但當問題涉及空間關系、對象識別、動態信息提取時，它就顯得力不從心。這正是 VLM-R3 想要突破的瓶頸：讓 AI 不只是“看到”圖像，而是能夠在整個推理過程中靈活關注關鍵視覺區域，動態采集細節，并持續優化推理鏈。

VLM-R3 框架概述：讓 AI 在推理過程中“再看一次”

傳統的多模態推理模型往往采用靜態視覺信息輸入，推理鏈更多圍繞文本展開，而視覺數據僅作為初始信息。然而，這種方式使模型在推理過程中無法主動回溯視覺細節，導致信息丟失，尤其是在涉及復雜圖像分析的任務上，誤判頻繁出現。

VLM-R3 重新定義了視覺-語言交互方式，構建了一個由 區域識別（Region Recognition）、推理鏈構建（Reasoning）與視覺細化（Refinement） 組成的框架：

• 區域識別：模型不再僅僅處理整個圖像，而是能夠精準定位關鍵區域，決定哪些部分需要關注和放大。
• 推理鏈構建：視覺信息被動態融入推理鏈，使文本和圖像交互更加自然，避免視覺證據隨推理過程衰減。
• 視覺細化：當模型需要更精確的視覺證據時，它能夠“再次查看”圖像的特定區域，進行裁剪或增強，優化推理結果。

這一機制讓模型能像人類一樣，在分析過程中反復“看圖”，確保關鍵視覺細節不會被忽略。

Visuo-Lingual Interleaved Rationale（VLIR）數據集：讓 AI學會“看”

任何新架構都需要合適的數據來訓練和驗證。為了讓 VLM-R3 具備交錯視覺-文本推理能力，研究團隊構建了 VLIR（視覺-語言交錯推理數據集），專門用于支持 AI 同時處理視覺區域選擇與推理鏈構建。

VLIR 數據集的設計目標非常明確：訓練 AI 學會如何在推理過程中動態調整視覺關注區域，并合理整合到推理鏈中。這意味著數據集不僅包含標準的文本-圖像對，還額外提供：

• 視覺區域選擇：AI 在推理過程中能夠自主選擇關鍵部分（例如科學圖表中的數字區域，數學題目中的公式）。
• 圖像裁剪與增強指令：AI 可以根據推理需求，裁剪、縮放或增強部分圖像，以獲取更清晰的視覺證據。
• 推理鏈指導：每個問題都提供完整的視覺-文本推理鏈，確保 AI 在不同推理階段知道應該如何處理視覺信息。

數據集涵蓋多個任務場景，包括：

• 文本理解（如 OCR 任務，需要解析文檔結構）；
• 科學圖表解析（如 InfographicsVQA，理解圖表內的數據分布）；
• 空間關系推理（如 VSR，分析對象之間的空間布局）。

此外，研究團隊采用了嚴格的數據篩選流程，確保每個裁剪區域都符合語義有效性，并且推理邏輯合理。對于裁剪的圖像片段，AI 還需經過模型驗證，確保它們確實包含可識別的信息，而不是隨機噪聲。最終，這些精心整理的數據，成為 VLM-R3 強化推理能力的關鍵資源。

圖2:VLIR數據集的分布：（a）每張圖像的作物數量，（b）不同源數據集的樣本，以及（c）基于相對大小的作物分類。

區域條件強化策略優化（R-GRPO）：讓 AI 在推理過程中做“聰明的選擇”

單純的監督學習難以讓 AI 形成真正智能的推理策略，因為它往往只會按照預設規則執行操作，而不會主動優化決策。因此，VLM-R3 引入了一種新的訓練方法：區域條件強化策略優化（R-GRPO）。

R-GRPO 采用強化學習框架，以獎勵機制鼓勵 AI 選擇正確的視覺區域，并進行合適的推理調整。它基于 組相對策略優化（Group Relative Policy Optimization, GRPO），并引入了“區域條件”概念，即模型的推理策略被顯式地綁定到當前視覺狀態，從而確保 AI 能夠充分利用視覺信息。

策略梯度優化：專門處理文本令牌和邊界框命令

在 AI 生成推理鏈的過程中，部分令牌由模型生成（文本推理、邊界框選擇指令），而部分令牌（裁剪后的圖像）則由環境注入。因此，在計算策略梯度時，需要進行特殊處理：

• 只優化由 AI 生成的文本令牌和邊界框命令；
• 屏蔽由環境注入的裁剪圖像令牌，避免對模型優化過程造成干擾。

這一精細的策略優化方法，使 AI 能夠更好地學習如何執行視覺區域選擇。

獎勵設計：讓 AI 學會高效推理

R-GRPO 采用多層次的獎勵機制，以鼓勵 AI 在推理過程中進行合理選擇：

• 準確性獎勵（racc）：最終答案正確獎勵 1 分，否則為 0。
• 格式遵循獎勵（rformat）：正確使用 <answer> 標簽獎勵 1     分，否則為 0。
• 區域有效性獎勵（rvalid）：每次生成正確且非冗余的邊界框命令獎勵 0.5 分，每回合最多 0.5 分。
• 推理長度獎勵（rlength）：文本推理步驟每個字符獎勵 0.001 分，每回合最多      0.25 分。

這套獎勵機制確保 AI 在學習過程中不僅優化答案準確性，還能增強對視覺信息的利用效率。

2.實驗與結果分析

在多模態推理領域，理論上的創新必須經過嚴格的實驗驗證，才能真正證明其價值。VLM-R3 作為一項突破性的研究，研究團隊在多個公開基準上進行了大規模實驗，以評估其推理能力、視覺區域定位效果以及整體推理鏈優化情況。

實驗設置與基準介紹

評估 VLM-R3 的推理能力，研究團隊選擇了六個具有代表性的公開基準：

• MME & MMMU：用于衡量多模態模型的通用視覺-語言理解能力；
• MathVista & MathVision：專門用于測試模型的數學推理能力，涉及復雜視覺計算任務；
• ScienceQA：科學知識推理，考察模型在結合視覺信息進行科學推理時的表現；
• DocQA：文檔理解任務，驗證模型對結構化文本和文檔視覺信息的處理能力；
• HallucinationBench：用于評估模型的幻覺率，即是否會錯誤地“捏造”視覺信息。

這些基準涵蓋了不同的推理挑戰，確保 VLM-R3 在多個場景下的可行性與穩定性。

與此同時，研究團隊針對三種不同類別的多模態模型進行了對比：

• 開源基線模型（如 Qwen2.5-VL 7B、InternVL2.5-8B、LLaVA-Next 8B），這些模型沒有專門的推理機制，僅依賴于基礎的視覺-文本處理能力。
• 閉源非推理模型（如 Gemini-2 Flash 和 GPT-4o），它們具備強大的多模態能力，但不一定針對推理任務進行優化。
• 具備推理模塊的模型（如 LLaVA-CoT 11B、Mulberry-Qwen2VL 7B、R1-onevision 7B），這些模型專門針對邏輯推理任務進行了優化，與 VLM-R3 最具可比性。

這種全面的對比方式，確保了實驗結果的科學性和可靠性。

VLIR 數據集詳細說明

在訓練 VLM-R3 時，研究團隊構建并使用了 Visuo-Lingual Interleaved Rationale（VLIR）數據集。這是一個專門設計的數據集，旨在培養 AI 在推理過程中主動選擇視覺區域，并整合到推理鏈中。

VLIR 數據集包含 11,810個樣本，其數據來源十分廣泛，涵蓋：

• GQA（4,057 樣本）：用于多步視覺推理；
• TextVQA（3,267 樣本）：測試 OCR 文字識別能力；
• DocVQA（1,497 樣本）：考察文檔結構理解；
• InfographicsVQA（1,497 樣本）：處理圖表和信息圖任務；
• VSR（1,492 樣本）：專注于空間關系推理。

此外，研究團隊對圖像裁剪區域進行了分類，確保不同視覺粒度的內容都得到有效利用：

• 極小裁剪區域（<0.05）：5,280 個樣本；
• 小裁剪區域（0.05≤比率<0.25）：4,043 個樣本；
• 中等裁剪區域（0.25≤比率<0.5）：1,914 個樣本；
• 大裁剪區域（≥0.5）：573 個樣本。

這一數據集的構建確保 VLM-R3 能夠在視覺-文本交互任務中獲得充分訓練，并具備適應各種推理場景的能力。

主要實驗結果解讀

VLM-R3 在所有基準上均表現優于其基礎模型（Qwen2.5-VL 7B），其中：

在 MathVista提升 2.2%（70.4% vs. 68.2%）；

在 MathVision提升 5.1%（30.2% vs. 25.1%）；

在 ScienceQA提升 14.33%（87.9% vs. 73.57%）。

這些數據表明 VLM-R3 在涉及數學推理、科學知識推理以及文檔結構解析的任務上均有明顯提升，尤其是在需要細粒度視覺線索提取的任務上表現卓越。

此外，在HallucinationBench的測試中，VLM-R3 的幻覺率明顯低于其他開源推理模型，超過了 Mulberry（62.0% vs. 54.1%），顯示其在避免生成錯誤視覺信息方面更為可靠。

消融研究：拆解關鍵技術的影響

圖3：區域接地精度對三個基準測試中模型性能的影響。每個子圖顯示了從40%到90%接地精度的性能軌跡，并帶有置信區間（陰影區域）。

為了進一步理解 VLM-R3 關鍵技術的貢獻，研究團隊進行了消融實驗：

• 去除交錯推理鏈（w/o Interleaved CoT）：ScienceQA 下降 12.5%，MMMU 下降 2.8%；
• 去除 VLIR 微調（w/o VLIR Fine-tuning）：ScienceQA 下降 15.7%，MMMU 下降 5.2%；
• 去除 R-GRPO 強化學習（w/o R-GRPO）：ScienceQA 下降 3.3%，MathVista 下降 0.7%。

圖4：具有視覺區域定位的交錯推理鏈（頂部）和一般文本推理鏈（底部）之間的注意力分布模式比較。

可以看到，VLIR 微調的影響最為顯著，尤其是在 ScienceQA 任務上，未進行 VLIR 微調的模型表現大幅下降。這意味著數據集的結構化推理支持對于 VLM-R3 的效果至關重要。而 R-GRPO 強化學習則在優化區域選擇和推理策略方面發揮了關鍵作用。

3.創新與展望

VLM-R3 不僅僅是對現有多模態推理技術的一次升級，更是一次理念上的突破。它為 AI 在視覺推理任務中的自主性和靈活性打開了一扇新窗，使得模型能夠在推理過程中動態調整視覺焦點，并與文本推理緊密結合，實現更精確的答案推導。這項研究不僅提升了現有模型在復雜視覺-語言任務上的表現，也為未來多模態智能系統提供了新思路。

VLM-R3 在動態視覺推理中的創新點

傳統的多模態大語言模型往往是“看看就過”的風格，圖像信息在推理初始階段被解析，然后迅速被文本主導的推理鏈所覆蓋。這導致模型在長推理鏈中往往遺忘或低估視覺證據的作用。而 VLM-R3 通過區域識別、推理細化和動態視覺關注機制，確保 AI 能夠在推理過程中保持對視覺信息的敏銳感知，并在關鍵時刻“回溯”圖像以獲取更多細節。

這一方式徹底改變了多模態推理范式，使 AI 在面臨復雜的科學問題、數學計算或圖表理解任務時，更接近人類的推理方式。它不只是簡單地“看”，而是在必要的時候 “再看一眼”，確保推理鏈中的信息是完整且可靠的。

交錯視覺-文本思維鏈與R-GRPO 強化學習的結合

VLM-R3 的最大亮點之一是 交錯視覺-文本思維鏈，它打破了視覺和文本的單向關系，使 AI 在整個推理鏈的不同階段都能主動調用視覺信息。而這一機制的成功，離不開區域條件強化策略優化（R-GRPO） 的支持。

通過強化學習，VLM-R3 學會了何時需要視覺補充，如何定位關鍵區域，以及如何將視覺信息合理嵌入推理鏈。相比于簡單的監督學習，R-GRPO 允許模型不斷優化自身決策，使 AI 在面對不同任務時更加智能。實驗結果也印證了這一點：在 ScienceQA 和 MathVista 任務中，使用 R-GRPO 的模型比僅靠監督學習的版本有顯著性能提升，尤其是在需要精細視覺推理的任務上效果尤為突出。

更加精細的視覺證據整合

VLM-R3 的成功表明，未來的多模態推理系統不應只是將圖像作為背景信息，而應該讓 AI 主動去“選擇”圖像的關鍵部分，并針對性地進行視覺數據提取。這意味著未來的 AI 可能會更精準地分析圖像中的特定區域，而不是對整個圖像進行粗略推理；自動調整視角，甚至在推理過程中生成新的視覺焦點，以適應不同任務需求；結合高精度的視覺增強技術，讓圖像中的微小細節也能對最終推理結果產生關鍵影響。

這些改進方向將使 AI 在醫學影像、自動駕駛、機器人視覺等領域展現更強的智能決策能力。

多步推理與動態視覺交互的潛力

VLM-R3 證明了 多步推理與視覺交互的重要性，未來的 AI 可能會進一步優化這一能力。例如在法律文檔分析領域，AI 可以不斷回溯合同條款中的關鍵內容，以提供精準的法律解讀；在金融市場預測任務中，AI 能夠結合圖表、文本和歷史數據，進行智能化的市場決策；在科學研究方面，AI 可能會在論文閱讀過程中分析實驗圖表，并動態調整研究假設。

這意味著 AI 將不再只是一個“單向”處理信息的工具，而會成為真正能夠自主思考的推理伙伴。

讓 AI 更快、更強、更精準

盡管 VLM-R3 在實驗中展現了強大的視覺推理能力，但仍有一些值得改進的方向，尤其是在 模型泛化能力、實時性及跨領域應用方面。

模型泛化能力

當前模型仍然依賴于 VLIR 數據集進行訓練，而不同任務對視覺信息的需求不同。因此，未來 AI 需要在更廣泛的視覺場景下進行訓練，提高對不同圖像數據的適應性；利用自監督學習 進一步提升對未知任務的推理能力，而不是僅依賴已有的標注數據。

實時性

盡管 VLM-R3 的推理流程已經實現了動態視覺交互，但如果要應用于自動駕駛、實時翻譯等任務，推理速度仍然需要優化。未來可能的解決方案包括更高效的視覺信息檢索算法，減少計算時間；輕量級模型優化，確保推理在低算力設備上也能流暢運行。

跨領域應用

目前 VLM-R3 主要在科學、數學和文檔解析任務上進行測試，而未來它可能被用于更多領域，比如醫學影像分析：自動識別病變區域，提供精準診斷建議；工業檢測：AI 自動分析生產線視頻，定位缺陷產品；社會媒體審核：結合圖像和文本，智能識別虛假信息或違規內容。

這些應用場景將推動 AI 推理能力向更加實際、復雜的任務拓展。

讓 AI 看得更準，想得更深

VLM-R3 讓 AI 的視覺推理能力邁出了重要一步。它不僅優化了現有的視覺-文本交互模式，還通過強化學習增強了 AI 在推理過程中的智能調整能力，使其更像人類的認知思維方式。隨著技術的不斷進步，我們可以期待 AI 在未來不再只是“看到”世界，而是真正理解并深度推理這個世界。這種智能化的視覺交互模式，或許將成為 AI 發展的新標桿，帶領我們進入一個更高階的智能推理時代。（END）

參考資料：???https://arxiv.org/pdf/2505.16192??

本文轉載自???獨角噬元獸???，作者：FlerkenS