隨著 GPT-4o 展現(xiàn)出令人印象深刻的多模態(tài)能力，將視覺理解和圖像生成統(tǒng)一到單一模型中已成為 AI 領(lǐng)域的研究趨勢（如MetaQuery 和 BLIP3-o ）。

南洋理工大學(xué) S-Lab 和商湯科技的研究團隊推出 OpenUni，一個開源版 MetaQuery，僅用 1.1B 參數(shù)達(dá)到 8B 模型性能，更將代碼、權(quán)重、數(shù)據(jù)全部開源！

• 技術(shù)報告： OpenUni: A Simple Baseline for Unified Multimodal Understanding and Generation
• 機構(gòu)： 南洋理工大學(xué) S-Lab、商湯科技新加坡研究院
• 作者： Size Wu*,  Zhonghua Wu*, Zerui Gong* (* 同等貢獻), Qingyi Tao, Sheng Jin, Qinyue Li, Wei Li, Chen Change Loy
• 開源代碼： https://github.com/wusize/OpenUni
• 聯(lián)系方式： size001@e.ntu.edu.sg

架構(gòu)圖，OpenUni 架構(gòu)：通過 256 個可學(xué)習(xí)查詢和 6 層輕量連接器，橋接凍結(jié)的 InternVL（理解）與 SANA（生成）

圖 1：OpenUni 在生成任務(wù)上的性能表現(xiàn)，展示了其高效的參數(shù)利用

三大核心優(yōu)勢

• ??? 架構(gòu)極簡

僅 6 層連接器，相比 MetaQuery 的 24 層大幅精簡

• ? 參數(shù)高效

1.1B 參數(shù)達(dá)到 GenEval 0.84 分，與 BLIP3-o-8B 模型性能相當(dāng)

•  ?? 完全開源

模型權(quán)重 + 訓(xùn)練代碼 + 2300 萬數(shù)據(jù)集全部公開

架構(gòu)設(shè)計與訓(xùn)練策略

OpenUni 遵循 MetaQuery 的設(shè)計理念，包含四個核心組件：

1.256 個可學(xué)習(xí)查詢 - 從用戶指令中提取條件信息

2. 凍結(jié)的 InternVL - 保持原有理解能力

3.6 層 transformer 連接器 - 基于 ViT 架構(gòu)

4.SANA 擴散模型 - 高效圖像生成

模型對比

* 對于 BLIP3-o，將預(yù)測 CLIP 特征的 DiT 視為連接器

關(guān)鍵特點： - 連接器參數(shù)大幅減少 - 使用更小的 MLLM 和擴散模型 - 訓(xùn)練數(shù)據(jù)完全公開

兩階段訓(xùn)練策略

第一階段：預(yù)訓(xùn)練（2300 萬圖文對）

• 目標(biāo)：訓(xùn)練可學(xué)習(xí)查詢和連接器
• 策略：凍結(jié) MLLM 和擴散模型
• 數(shù)據(jù)：公開數(shù)據(jù)集，使用 LLM/MLLM 重新標(biāo)注

第二階段：微調(diào)（6 萬圖文對）

• 目標(biāo)：提升生成質(zhì)量
• 策略：解凍擴散模型，聯(lián)合優(yōu)化
• 數(shù)據(jù)：BLIP3-o 貢獻的高質(zhì)量數(shù)據(jù)集

性能驗證

OpenUni 在參數(shù)效率上表現(xiàn)出色：

• OpenUni-B-512：1.1B 激活參數(shù)，GenEval 達(dá)到 0.84 分，與 BLIP3-o-8B 持平
• OpenUni-L-512：3.1B 激活參數(shù)，GenEval 達(dá)到 0.85 分
• OpenUni-L-1024：3.1B 激活參數(shù)，GenEval 達(dá)到 0.86 分，為開源統(tǒng)一模型最佳

其他基準(zhǔn)測試

• DPG-Bench：OpenUni-L-1024 獲得 83.08 分，超越所有 MetaQuery 和 BLIP3-o 變體
• WISE：OpenUni-L 達(dá)到 0.52 分，與 BLIP3-o-8B（公開數(shù)據(jù)版）持平

生成效果展示

圖 2：OpenUni-L-1024 生成的多樣化高質(zhì)量圖像

多模態(tài)理解能力

由于采用凍結(jié) InternVL3 的策略，OpenUni 繼承了其理解能力：

圖 3：OpenUni-L 的多模態(tài)理解能力展示

理解基準(zhǔn)測試

應(yīng)用前景與開源貢獻

OpenUni 提供完整的開源資源：

? 模型權(quán)重 - 所有訓(xùn)練階段的 checkpoint

? 訓(xùn)練代碼 - 完整訓(xùn)練 pipeline

? 2300 萬訓(xùn)練數(shù)據(jù) - 包含重新生成的 caption

? 詳細(xì)文檔 - 訓(xùn)練配置和復(fù)現(xiàn)指南

研究團隊指出了當(dāng)前的局限：

• 生成圖像中渲染文字的能力有限
• 最大模型基于 2B MLLM 和 1.6B 擴散模型，有待擴展
• 圖像到圖像生成任務(wù)將在未來版本支持
• GenEval 的局限性，由于 prompt 范式固定，模型經(jīng)過 GPT4o 蒸餾數(shù)據(jù)（BLIP4o-60K）微調(diào)后在 GenEval 上大幅提升；作為統(tǒng)一模型（Show-o,Janus,Harmon,Bagel）常用的指標(biāo)，GenEval 難以再真正衡量模型能力
  
  

總結(jié)

OpenUni 為統(tǒng)一多模態(tài)模型提供了一個簡單但強大的基線。通過極簡的架構(gòu)設(shè)計和高效的參數(shù)利用，OpenUni 展示了：

• 更少的參數(shù)可以達(dá)到有競爭力的性能
• 簡單的設(shè)計往往更有效
• 完全開源促進社區(qū)研究和創(chuàng)新

作為一個持續(xù)進行的項目，OpenUni 為研究社區(qū)提供了清晰、可復(fù)現(xiàn)、易擴展的基線實現(xiàn)。