多模態大模型（Multimodal Large Language Models, MLLM）正迅速崛起，從只能理解單一模態，到如今可以同時理解和生成圖像、文本、音頻甚至視頻等多種模態。

在“如何全面客觀地評測多模態大模型”這一問題的回答上，過去常用的多模態大模型評測方法是堆砌多個任務的成績。但簡單以“更多任務上更高分”衡量模型強弱并不可靠，模型在某些任務上表現突出也并不一定意味著它在所有領域都更接近人類智能水平。

正因如此，在AI競賽進入“下半場”之際（由最近的OpenAI研究員姚順雨所引發的共識觀點），設計科學的評估機制儼然成為決定勝負的核心關鍵。

近期錄用于ICML’25 (Spotlight)的論文《On Path to Multimodal Generalist: General-Level and General-Bench》提出了一套全新的評測框架General-Level和配套的數據集General-Bench，為這一議題帶來了奠基性的解答和突破。

圖片

該評測框架已落地于社區：上述論文的項目團隊構建了涵蓋700多個任務、覆蓋5大常見模態、29個領域、多達32萬+測試數據的超大規模評測基準和業界最完善的多模態通才模型排行榜Leaderboard，為公平、公正、全面地比較不同多模態通才大模型提供了基礎設施。

General-Level評估算法：五級段位體系與協同效應

General-Level評測框架引入了一個五級段位體系，類似“段位晉級”的方式來衡量多模態模型的通才能力。

General-Level評估的核心在于協同泛化效應（Synergy），指的是模型將從一種模態或任務中學到的知識遷移提升到另一種模態或任務中的能力，簡單來說就是1+1 > 2的效果。

模型的段位由低到高依次為：Level-1專業高手，Level-2通才新秀（無協同），Level-3任務協同，Level-4范式協同，Level-5全模態完全協同。段位越高表示模型展現出的“通用智能”越強，達到的協同效應層級越高。

General-Level正是通過考察不同層面的協同效應，來決定模型所屬的段位的：

圖片

• Level-1 專家型選手（Specialist）這一級別包括了當前各單項任務的專精模型，通常是針對某個數據集或任務單獨微調到極致的SOTA模型。
• Level-2 入門通才（Generalist，無協同）達到Level-2意味著模型開始具備“一專多能”的能力，能支持多種模態和任務，但尚未體現出協同增益效應。
• Level-3 任務級協同（Task-level Synergy）晉升Level-3要求模型出現任務層面的協同提升。這意味著模型通過多任務聯合學習，在某些任務上的成績超越了該任務的專精模型SOTA。
• Level-4 范式級協同（Paradigm-level Synergy）要邁入Level-4，模型必須展現跨范式的協同，也就是在“理解與生成”這兩大任務范式之間形成協同效應。本段位代表模型已開始具備“生成-理解一體化”的推理能力，能夠跨越任務形式的差異進行知識遷移。
• Level-5 全模態完全協同（Cross-modal Total Synergy）這是General-Level評估的最高段位，標志著模型在跨模態、跨任務范疇達成了全面協同，也是理想的AGI狀態。

然而截至目前，尚無任何模型達到Level-5段位。

Level-5代表著通往AGI的終極目標，一旦有模型邁入此段位，也許就預示著通才AI朝“通用人工智能”跨出了關鍵一步。

圖片

總的來說，General-Level通過這五級段位體系，將評估視角從單純堆疊任務分數，提升到了考察模型內部知識的遷移融合能力。

這種段位制在保障客觀量化的同時，也為業界描繪出一條從專才到通才再到“全才”的進階路線圖。

General-Bench評測基準：一張多模態通才的超級考卷

General-Bench被譽為當前規模最大、范疇最廣、任務類型最全面的多模態通才AI評測基準。

它不僅是一張考察多模態AI能力的“通才高考卷”，更是一個集廣度、深度、復雜性于一體的全景式評測系統。

在廣度上，General-Bench覆蓋了五大核心模態——圖像、視頻、音頻、3D以及語言，真正實現了從感知到理解，再到生成的全鏈路模態覆蓋。

在深度維度，General-Bench不僅涵蓋了大量傳統理解類任務（如分類、檢測、問答等），更納入了豐富的生成類任務（如圖像生成、視頻生成、音頻生成、描述生成等）。

更值得注意的是，所有任務均支持Free-form自由作答，不局限于選擇題或判斷題，而是依據任務原生的開放指標進行客觀評估，填補了業界長期以來的評測盲區。

圖片

從數據規模來看，General-Bench匯集了700余個任務、325,000+個樣本，并細分為145項具體技能，全面覆蓋視覺、聽覺、語言等模態下的核心能力點。

在這些技能背后，General-Bench跨越了29個跨學科知識領域，囊括自然科學、工程、醫療、社會科學、人文學科等，從圖像識別到跨模態推理、從語音識別到音樂生成、從3D模型到視頻理解與生成，應有盡有。

此外，General-Bench還特別關注模型在內容識別、常識推理、因果判斷、情感分析、創造與創新等高階能力上的表現，為通才AI模型提供了一個多維度、立體化的評測空間。

可以說，General-Bench是一張挑戰性前所未有的多模態綜合考卷，從模態維度到任務范式，再到知識領域，全方位檢驗AI模型的廣度、深度與綜合推理能力。

目前，General-Bench的任務樣本總量已達到325,876，并將保持開放動態增長。這一開放性與可持續更新，確保了General-Bench具備長期生命力，能夠持續支撐多模態通才AI的研發與演進。

多Scope Leaderboard設計：全模態通才到子技能通才

有了General-Level評估標準以及數據集，還需要一個公開透明的排行榜來呈現各模型的評測結果和排位。這正是項目的Leaderboard系統。

為了兼顧評測全面性與參與門檻之間的平衡，Leaderboard設計了多層次的榜單Scope分層解耦機制（Scope-A/B/C/D）。

不同Scope相當于不同范圍和難度的子排行榜，允許能力各異的模型各展所長，從“全能冠軍賽”一路覆蓋到“單項能力賽”， 既保證了頂尖通才模型有舞臺角逐全能桂冠，也讓普通模型能選擇合適范圍參與比較，降低了社區參與的門檻。

圖片

Scope-A: 全譜英雄榜 ：“全模態通才”爭霸。

這是難度最高、覆蓋面最廣的主榜單：參賽模型必須接受General-Bench全集的考驗，也就是涵蓋所有支持的模態、所有范疇任務的完整評估。

Scope-A旨在選拔真正全能型的多模態基礎模型，檢驗它們在全面復雜場景下的綜合實力。

Scope-B: 模態統一英雄榜 ：“單一模態通才”競技。

Scope-B包括若干子榜單，每個針對特定模態或限定的模態組合。

具體而言，Scope-B劃分出7個并行榜單：其中4個是單一模態榜（如純視覺、純語音、純視頻、純3D），另外3個是模態組合榜（例如圖像+文本、視頻+文本等跨模態組合）。

參賽模型只需在所選模態范圍內完成多任務評測，不涉及其它模態的數據。

Scope-C: 理解/生成英雄榜 ：“范式能力”分組競技。

Scope-C將評測進一步細分為理解類任務和生成類任務兩大范式，在每種模態下分別設榜。具體來說，在圖像、視頻、音頻、文本這幾類模態中，各自分出“理解能力榜”和“生成能力榜”兩個榜單，共計8個榜單。

Scope-C評測強調同一模態內跨任務范式的遷移能力：比如一個模型在視覺理解榜表現優異，說明它在視覺分類、檢測等多種理解任務間具備共享知識的能力；在視覺生成榜得分高則意味著它在各種生成任務（描述、畫圖）上都有通用能力。

由于限制了任務范式的范圍，Scope-C對資源要求較低（三星難度），非常適合輕量級模型或資源有限的團隊參與。

Scope-D: 技能專長榜：“細分技能”擂臺。

這是粒度最細、參與門檻最低的一類榜單。Scope-D將General-Bench中的任務按具體技能或任務類型進一步聚類，每個小類單獨成榜。

例如：“視覺問答（VQA）榜”“圖像字幕生成榜”“語音識別榜”“3D物體檢測榜”等等，每個榜單涵蓋一組密切相關的任務。

參賽模型可以只針對某一類技能提交結果，從而在自己最擅長的狹窄領域與其它模型比較。

這種技能榜機制鼓勵模型循序漸進地發展：先在單點技能上做到極致，再逐步挑戰更廣泛的多任務、多模態評測。

Leaderboard鏈接可見文末。

Leaderboard參賽指南：提交流程與公平評測機制

為了促進社區參與，General-Level項目提供了清晰的Leaderboard參賽流程和嚴格的公平性保障機制。

無論是學術研究團隊還是工業實驗室，都可以按照以下步驟將自己研發的多模態模型提交到Leaderboard打榜：

1.選擇榜單與下載評測數據

首先根據模型能力，選擇適當的Leaderboard范圍（Scope）和具體榜單ID。

選定榜單后，從官方提供的鏈接下載該榜單對應的封閉測試集（Close-set data）。

這是一份只包含輸入的測試數據，不公開標準答案，用于正式評測。

官方同時提供了開放開發集（Open-set data）用于調試開發，在打榜前可用于本地測試模型輸出格式等。

2.本地運行模型推理

拿到封閉測試集后，在本地用模型對其進行推理Inference，生成對應的輸出結果。

需要注意的是，每個榜單可能包含多種任務類型，提交的結果文件應嚴格遵循官方規定的格式和目錄結構。提交前請務必參考官方的詳細提交文檔確認格式要求。

一旦輸出結果整理完成，將其命名為“[模型名稱]-[榜單ID].zip”以備上傳。

3.提交結果并填寫信息

在Leaderboard網站的提交入口，上傳上述結果ZIP文件。同時需要填寫一些必要的模型信息（如模型名稱、參數規模、簡介等）以及聯系郵箱等，以便主辦方后臺正確處理結果。

如果想讓自己的模型得到更多曝光，團隊也可以選擇在結果提交后公開模型的詳細說明或技術報告，方便社區了解模型亮點。

4.等待評測與查看榜單

提交結果后，系統會在后臺對模型輸出進行評分，包括計算各任務指標并匯總成General-Level段位分數。

由于封閉測試集的答案和評分腳本在后臺保密運行，提交者無法直接得知未公布數據的答案，從而保證了評測的公正性。

評測完成后，Leaderboard頁面將實時更新：新模型會出現在對應榜單上，展示模型名稱、所屬模態范疇、各模態下的得分以及總分、段位等級和提交日期等信息。這樣，提交者和公眾都能立即在排行榜上看到模型的名次和段位。

排行榜支持按段位或分數排序，清晰標識哪些模型達到了Level-3、Level-4等協同級別。

為了確保Leaderboard評測的公平性和權威性，項目方還制定了一系列規則和限制：

封閉測試：所有排行榜使用的數據集均為封閉集，模型不得使用這些測試數據進行訓練或調優，這一點通過協議約束和數據監控等方式嚴格執行。

同時，由于是封閉評測，模型開發者在提交結果前也無法得知正確答案，從根本上保證了成績的可信度。

限頻提交：每個用戶24小時內最多提交2次，7天內最多提交4次結果，并且在前一次提交的評測尚未完成時，不允許發起新的提交。

這些措施有效杜絕了利用提交機會反推標準答案或對封閉集過擬合的可能，避免了有人反復試錯投機，維護了排行榜的嚴肅性。

統一評測環境：所有模型提交均在主辦方統一的評測環境中執行評分，確保不同模型的比較在相同標準下進行。

無論模型使用何種框架或推理加速，最終成績都以相同的指標體系衡量，并根據General-Level算法轉換成段位分數，從而可直接橫向對比。

通過以上流程與機制，General-Level Leaderboard為研究者提供了一個開放且公平的競技場。

在這里，新的模型算法可以得到客觀檢驗，與業界現有的方法同臺比拼；同時封閉評測也保障了結果的可信度，使排行榜成為公認權威的數據點。

圖片

排行榜現狀：代表模型段位分布與社區反饋

截至目前，排行榜收錄了100多個多模態模型的成績，并根據General-Level標準揭示了它們在通才能力上的座次高低。

在首批發布的閉集評測榜單中，各模型整體表現差異懸殊，甚至顛覆大家對常見的多模態大模型的能力排位的認知。

縱觀排行榜，不同段位檔次已經初現梯隊分布。

Level-2（無協同）

圖片

排行榜中占比最多的就是Level-2段位模型，其中包括GPT4-V等重量級閉源模型，其他大量的常用的開源模型也位列其中。

這些模型勝在支持任務范圍廣，幾乎囊括所有測評任務，但極少在任何任務上超越單項SOTA。因此它們被General-Level評為Level-2通才，只能算是“全科及格”的水平。

值得注意的是，GPT4-V等雖是商業頂尖模型，但由于沒有針對評測任務進行專項優化，未能體現協同增益，評分并不出挑。

相反，一些開源模型通過多任務訓練，全面開花，也躋身Level-2行列，如SEED-LLaMA、Unified-IO等。這一層級模型主要的能力分布在圖片模態上，且單模態的平均得分帶大致在10-20分左右，表現尚有巨大提升空間。

當前Level-2的冠亞季軍分別為：Unified-io-2-XXL，AnyGPT以及NExT-GPT-V1.5。

Level-3（任務協同）

圖片

這一級別所匯聚的多模態大模型相比于Level-2少了很多，它們在若干任務上擊敗了專業模型，展現出協同學習帶來的性能飛躍。

許多2024年后的新模型紛紛晉升此列，包括開源的Sa2VA-26B、LLaVA-One-Vision-72B、Qwen2-VL-72B系列。這些模型通常具有數百億參數且經過海量多模態、多任務訓練，因而在部分Benchmark上超越了傳統單任務SOTA的成績。

這證明了協同效應的價值：統一的多任務訓練可以讓模型學到更通用的表征，在相關任務上互相促進性能。

反而，一些閉源大模型如OpenAI的GPT4-o、GPT4-V和Anthropic的Claude-3.5等在Level-3上表現不夠靠前。

Level-3模型的整體平均分范圍相比Level-2繼續降低，這表示本Level更加困難的得分情況。

Level-4（范式協同）

圖片

達到此段位的模型目前仍屬鳳毛麟角。

據Leaderboard顯示（截止評測日期24年12月），僅有極個別模型被評為Level-4，如體量巨大的Mini-Gemini、Vitron-V1、Emu2-37B等原型開源模型。

這些模型在跨范式推理上有所突破，兼具卓越的理解與生成能力，并能將兩者融會貫通。

例如Mini-Gemini模型在圖像理解和生成兩方面均取得領先，其在Leaderboard的范式協同評分上名列前茅。

Level-4段位的出現，意味著離真正的跨模態推理AI又近了一步。不過當前Level-4模型的平均分非常低。這揭示了構建范式全面協同AI的巨大挑戰：要兼顧多模態的理解與生成并取得雙重突破，非常不易。

Level-5（全模態總協同）

這一段位至今依然是空缺狀態，沒有任何模型能夠達成。

這并不意外，因為要在所有模態和任務上都超越專家并同時提升語言智能，目前來看超過了現有技術的能力范圍。

General-Level團隊推測，也許下一個里程碑將來自“多模態版”的GPT-5，它們有可能首次展現全模態協同的苗頭，從而改寫Level-5無人問津的局面。

不過在那一天到來之前，Leaderboard上Level-5位置還將繼續空懸，也提醒著我們距離真正的AGI依然有不小的距離。

當前Leaderboard的推出在AI研究社區引發了熱烈反響。許多研究者認為，這樣一個統一的、多維度的評測平臺正是多模態領域所急需的：它不僅規模空前（覆蓋700+任務）、體系完整（有等級有分項），而且公開透明，為業界提供了共同進步的參照。

在社交媒體和論壇上，大家對排行榜上的結果展開討論：有人驚訝于開源模型Qwen2.5-VL-72B竟能擊敗許多閉源巨頭，證明開源社區的潛力；也有人分析GPT-4V在復雜視聽任務上的短板，探討如何彌補。

Leaderboard的數據還被用來指導研究方向：哪些任務是多數模型的薄弱項，哪些模態結合尚未被很好解決，一目了然。

可以預見，隨著更多模型加入打榜，排行榜將持續更新，這不僅是一場競賽，更是在不斷積累寶貴的科研洞見。

General-Level評測框架與其Leaderboard排行榜的推出，標志著多模態通才AI研究進入了一個新階段。正如作者在論文中所期望的那樣，該項目構建的評估體系將成為堅實的基礎設施，幫助業界更科學地度量通用人工智能的進展。

通過統一標準的段位評測，研究者可以客觀比較不同模型的優劣，找出進一步提升的方向；通過大規模多任務的Benchmark，可以全面考察模型在不同領域的能力短板，加速發現問題并迭代改進。這一切對于推動下一個世代的多模態基礎模型、乃至朝真正的AGI邁進，都具有重要意義。

更可貴的是，General-Level項目秉持開放共享的態度，歡迎社區廣泛參與共建。無論您是有新模型方案，還是手頭有獨特的數據集，都可以參與進來：提交模型結果上榜，與全球頂尖模型一決高下；或貢獻新的評測數據，豐富General-Bench的任務多樣性。

每一份數據集的加入，都會在官網主頁獲得鳴謝并在技術報告中被引用。

項目主頁：https://generalist.top/

Leaderboard：https://generalist.top/leaderboard

論文地址：https://arxiv.org/abs/2505.04620

Benchmark：https://huggingface.co/General-Level