嘿，各位開發小伙伴，今天要給大家安利一個全新的開源項目 ——VLM-R1！它將 DeepSeek 的 R1 方法從純文本領域成功遷移到了視覺語言領域，這意味著打開了對于多模態領域的想象空間！

這個項目的靈感來自去年 DeepSeek 開源的那個 R1 方法，靠著 GRPO（Group Relative Policy Optimization）強化學習方法，在純文本大模型上取得了驚人的效果。

現在，VLM-R1 團隊直接把它應用到了視覺語言模型上，打開了一扇新的大門！

VLM-R1 驗證結果驚艷

這個項目的團隊在 Qwen2.5-VL 的基礎上，同時對比了 R1 和傳統的 SFT 方法。結果相當驚艷：

(1) 穩定性拉滿：R1 方法在各種復雜場景下都能保持穩定的高性能，這在實際應用至關重要！

(2) 泛化能力卓越：更讓人震驚的是，在領域外的測試數據上，隨著訓練步數增加，傳統 SFT 模型的性能開始下滑，而 R1 模型卻能持續提升！這意味著 R1 方法幫助模型真正 “學會” 了理解視覺內容，而不是簡單地記憶！

（訓練和測試領域的差異對比）

（泛化性對比，綠線是 VLM-R1，在領域外泛化性顯著更優）

(3) 上手超簡單：VLM-R1 項目團隊還貼心地提供了完整的訓練和評估流程，四步就能開始訓練，對開發者十分友好。

小編親測之后，在此分享一個實際案例，結果讓人意外。

圖片里展示了一桌子豐盛的美食，包括各種蔬菜、面餅和點心。針對圖片，我們向模型提出了一個問題：“在圖片中找出蛋白質含量最高的食物”。

模型不僅回答得準確：

“圖片中展示了桌上的各種菜品，包括蔬菜、面餅和點心。從蛋白質含量來看，面餅或面點可能含量最高，因為它們通常由全谷物制成，面粉中含有蛋白質。雖然蔬菜也含有蛋白質，但比起這些主食來說含量較少。”

更厲害的是，它還精準地在圖片中框選出了那個蛋白質含量最高的雞蛋餅！

這種精確的視覺理解能力和推理能力，讓人印象深刻！

完美展示了 VLM-R1 在實際應用中的優勢：

• 準確的視覺識別能力
• 專業的知識推理能力
• 清晰的文本表達能力

全新思路

作為一個 AI 領域的觀察者，VLM-R1 的出現也為開發者和行業提供了許多新的思路，比如：

• 證明了 R1 方法的通用性，不止文本領域玩得轉；
• 為多模態模型的訓練提供了新思路；
• 或許能夠引領一種全新的視覺語言模型訓練潮流；

完全開源

最棒的是，這個優秀的項目完全開源！

項目地址：[VLM-R1](https://github.com/om-ai-lab/VLM-R1)

對視覺語言模型感興趣的同學，強烈建議去看看這個項目。說不定你的下一個突破性研究就從這里開始！