多模態理解和生成：多模態理解與生成統一獎勵模型；將獎勵模型多模態情緒識別上
Unified Reward Model for Multimodal Understanding and Generation
2025-03-07｜FDU, SII, Shanghai AI Lab, Shanghai Academy of Artificial Intelligence for Science|??75
??http://arxiv.org/abs/2503.05236v1???
???https://huggingface.co/papers/2503.05236???
???https://codegoat24.github.io/UnifiedReward/??
研究背景與意義
本文提出了一種名為UNIFIEDREWARD的統一獎勵模型，旨在解決多模態理解和生成任務中的偏好對齊問題?，F有模型通常針對特定任務設計，限制了其在不同視覺應用中的適應性。作者認為，通過聯合學習多個視覺任務，可以產生協同效應，增強圖像理解、視頻評估等任務的表現。
- 研究背景：近年來，人類偏好對齊技術顯著推動了多模態生成和理解的進步。然而，大規模收集人類反饋既耗時又耗費資源。
- 研究意義：本研究通過構建大規模的人類偏好數據集，并開發出首個能夠同時進行成對排名和點評分的統一獎勵模型，解決了現有模型的局限性，提升了跨域視覺任務的性能。
研究方法與創新
UNIFIEDREWARD的核心在于其獨特的訓練流程和數據構建方式。該模型基于一個涵蓋圖像和視頻生成/理解任務的大規模人類偏好數據集進行訓練，隨后用于自動構建高質量的偏好對數據。
- 技術創新：
a.大規模數據集：首次構建了一個包含236K條記錄的數據集，覆蓋了圖像和視頻的理解與生成任務。
b.聯合學習框架：通過將視覺任務視為相互關聯的整體，實現了更高效的模型訓練。
c.細粒度篩選機制：采用成對排名和點評分相結合的方法，確保了偏好數據的質量。
- 優勢對比：
a.相比于僅能處理單一任務的現有模型，UNIFIEDREWARD展示了更強的泛化能力和更高的效率。
b.實驗結果顯示，在多種基準測試中，該模型均取得了顯著優于基線模型的成績。
實驗設計與結果分析
為了驗證UNIFIEDREWARD的有效性，研究人員進行了廣泛的實驗，包括圖像和視頻生成及理解任務。實驗結果表明，聯合學習多個視覺任務不僅能緩解數據不足的問題，還能顯著提高學習效果。
- 圖像生成：使用Pick-a-Pic數據集進行偏好數據構建，結果顯示，基于UNIFIEDREWARD的DPO方法在多個指標上均優于直接訓練。
- 視頻生成：通過T2V-Turbo模型進行對比實驗，發現UNIFIEDREWARD在質量、語義一致性等方面均有明顯提升。
- 多任務學習：實驗還證明了聯合訓練圖像和視頻理解任務可以帶來額外的性能增益，例如整體準確率提高了5.3%，宏觀準確率提高了8.3%。
結論與展望
綜上所述，UNIFIEDREWARD不僅為多模態理解和生成任務提供了一種全新的解決方案，而且通過聯合學習多個視覺任務，展現了強大的泛化能力和實際應用潛力。未來的研究方向可能包括進一步優化模型架構、探索更多類型的視覺任務以及擴展到其他領域如自然語言處理等。
- 總結貢獻：提出了首個統一獎勵模型，解決了現有模型的局限性，顯著提升了跨域視覺任務的性能。
- 方法展望：建議繼續探索如何更好地整合不同類型的任務，以實現更加通用和高效的獎勵模型。
R1-Omni: Explainable Omni-Multimodal Emotion Recognition with Reinforcing Learning
2025-03-07｜Alibaba Group|??9
??http://arxiv.org/abs/2503.05379v1???
???https://huggingface.co/papers/2503.05379???
???https://github.com/HumanMLLM/R1-Omni??
研究背景與意義
本研究聚焦于情感識別任務，特別是結合視覺和音頻信息的多模態大模型。當前，強化學習（RL）在提升大模型性能方面展現出巨大潛力，尤其是通過可驗證獎勵機制（RLVR）。然而，現有的RLVR應用主要集中在圖像-文本模態上，尚未探索視頻中更豐富的信息源，如動態視覺內容和音頻。
本文首次將RLVR應用于視頻多模態大模型（Omni-model），旨在優化其推理能力、情感識別準確性和泛化能力。研究不僅顯著提升了模型在分布內數據上的表現，還在分布外數據上展示了更強的魯棒性。此外，改進后的推理能力使得不同模態（視覺和音頻）對情感識別的貢獻更加清晰，為多模態大模型的優化提供了寶貴見解。
研究方法與創新
本研究采用了一種新穎的訓練范式——強化學習與可驗證獎勵（RLVR），并結合了組相對策略優化（GRPO）。RLVR簡化了獎勵機制，確保模型輸出與任務的正確性標準對齊，而GRPO則通過比較生成響應的質量來優化策略，無需額外的批評模型。
具體而言，我們擴展了RLVR的應用范圍，從傳統的數學和編程領域轉向多模態情感識別。通過使用MAFW和DFEW數據集中的15,306個視頻樣本進行訓練，盡管這些數據集僅提供情感類別標注，但通過RLVR，我們成功增強了模型的推理、性能和泛化能力。
創新點：
- 首次應用：首次將RLVR應用于視頻多模態大模型，特別是在情感識別任務中。
- 增強推理能力：通過RLVR，模型能夠更清晰地理解視覺和音頻信息如何共同作用于情感識別。
- 魯棒性提升：模型在分布外數據上的表現顯著優于監督微調（SFT）模型。
- 結構化輸出：引入了嚴格的格式獎勵，確保模型生成的解釋符合預定義的HTML標簽格式，便于后續分析和評估。
實驗設計與結果分析
實驗分為冷啟動階段和RLVR訓練階段。冷啟動階段使用EMER數據集中的580個視頻樣本進行預訓練，以賦予模型初步的推理能力。隨后，通過RLVR進一步優化模型。
實驗結果：
- 推理能力增強：R1-Omni在多個數據集上表現出更強的推理能力和更高的解釋一致性。
- 理解能力提升：在MAFW和DFEW數據集上，R1-Omni的無權重平均召回率（UAR）和加權平均召回率（WAR）均顯著高于其他模型。
- 泛化能力更強：在RAVDESS數據集（作為分布外測試集）上，R1-Omni同樣表現出色，UAR和WAR分別達到43.00%和44.69%，遠超SFT模型的表現。
結論與展望
本研究表明，RLVR在多模態情感識別任務中具有顯著優勢，不僅提升了模型的推理和理解能力，還增強了其在未見過的數據上的泛化能力。未來的研究方向包括：
- 加強基礎模型能力：通過更大規模的預訓練或更多樣化的數據集來進一步提升基礎模型的性能。
- 減少推理幻覺：開發機制以檢測和減輕模型在推理過程中可能出現的幻覺現象。
- 充分利用音頻線索：改進模型對音頻特征（如語調和抑揚頓挫）的提取和整合能力。
- 深化情感智能：引導模型探索更深層次的心理活動和情感驅動因素，提升其捕捉復雜情感動態的能力。
盡管R1-Omni取得了顯著進展，但在字幕識別、推理幻覺和音頻利用等方面仍存在局限性，需要進一步研究和改進。
本文轉載自??AI研究前瞻??，作者：胡耀淇
