文章鏈接：https://arxiv.org/pdf/2504.02782 
代碼&數據集：https://github.com/PicoTrex/GPT-ImgEval

亮點直擊

• GPT-ImgEval，首個通過三個成熟基準（包括文本到圖像生成、編輯和理解引導生成）定量和定性評估GPT-4o圖像生成能力的基準測試。全面結果突顯了GPT-4o在圖像生成和理解能力上優于先前模型的卓越表現。
• 基于測試結果深入分析，包括：（1）通過基于分類器的圖像分析研究GPT-4o的潛在底層架構；（2）對其弱點的系統性實證研究，包括常見失敗模式和生成偽影。
• 提供了GPT-4o與Gemini 2.0 Flash在多輪圖像編輯能力上的對比研究。通過使用現有SOTA圖像取證模型評估GPT-4o生成圖像的可檢測性，探討了AIGC安全問題，表明由上采樣過程中引入的可見偽影，此類輸出仍可被區分。

總結速覽

解決的問題

• 缺乏系統評測：當前對GPT-4o在圖像生成、編輯及知識驅動的語義合成能力的系統性評估不足。
• 架構不透明：GPT-4o的內部圖像解碼架構（如擴散模型vs.自回歸模型）尚未明確。
• 局限性分析：需揭示GPT-4o在生成控制、編輯一致性、多語言支持等方面的具體缺陷。
• 安全與檢測：評估生成圖像的可檢測性及潛在安全風險。

提出的方案

• 評測基準GPT-ImgEval：

• 生成質量（GenEval數據集）
• 編輯能力（Reason-Edit數據集）
• 知識驅動合成（WISE數據集）

• 架構推測方法：
• 訓練二分類器區分擴散模型與自回歸模型生成圖像，驗證GPT-4o的解碼方式。
• 結合生成圖像特征，推測其完整架構（如視覺編碼器+擴散頭）。
• 多維度對比實驗：
• 與Gemini 2.0 Flash比較多輪編輯的指令理解、一致性、響應速度等。
• 安全分析：
• 利用現有圖像取證模型檢測生成圖像的偽造痕跡（如插值偽影、水印特征）。

應用的技術

• 評測框架：基于現有數據集（GenEval、Reason-Edit、WISE）構建多任務評估流程。
• 分類模型：通過監督學習訓練擴散/自回歸生成圖像的判別器，反推GPT-4o架構。
• 可視化分析：人工與自動化結合，識別生成圖像的常見偽影（如比例失調、色彩偏差）。
• 跨模型對比：定量（指標）與定性（案例）分析GPT-4o與Gemini 2.0 Flash的差異。
• 取證工具：應用SOTA圖像偽造檢測模型（如基于插值偽影或頻域特征的方法）。

達到的效果

• 性能優勢：

• GPT-4o在生成質量、編輯控制、知識推理上顯著優于現有方法。
• 支持細粒度屬性控制與復雜場景合成（如多對象組合）。

• 架構推測：
• 實證表明GPT-4o可能采用擴散模型頭（非VAR類架構）進行圖像解碼。
• 局限性揭示：
• 編輯時內容保留不穩定、比例控制困難、高分辨率過平滑、非英文文本生成不足等。
• 安全發現：
• 生成圖像易被現有取證模型檢測（可能因超分插值偽影或隱式水印）。
• 行業影響：
• 提供可復現的基準，推動生成模型研究；為實際應用（如內容創作）提供改進方向。

GPT-ImgEval 的總體工作流程，包括 GPT-4o 圖像生成、評估和分析

GPT-ImgEval評估基準

GPT-4o圖像生成設置

數據集本文使用三個核心數據集評估GPT-4o的圖像生成能力：GenEval、Reason-Edit和WISE。傳統自動評估指標（如FID或CLIPScore）主要衡量整體圖像質量或圖文對齊度，但無法勝任細粒度或實例級分析。(1) GenEval采用以物體為中心的框架評估構圖屬性，包括物體共現、空間排列、計數和色彩一致性，適合評估GPT-4o基于文本輸入的圖像合成控制能力；(2) Reason-Edit是專為基于文本指令的圖像編輯設計的數據集，涵蓋七類編輯挑戰，測試模型的空間理解、尺寸調整、色彩修改和常識推理能力；(3) WISE作為世界知識驅動的語義評估基準，超越簡單的詞到像素映射，要求模型生成基于現實知識（如文化背景、時空推理和科學理解）的圖像。

自動化腳本截至2025年4月3日，GPT-4o尚未提供官方的圖像生成API。為此，研究者們開發了直接與GPT-4o網頁界面交互的定制自動化腳本。這些腳本通過模擬用戶輸入自動提交提示詞并獲取生成圖像，支持大規模可重復的模型能力評估。為減少同窗口上下文對模型能力的干擾，每個提示詞對應的圖像合成均在新窗口完成。

文本到圖像生成

定量結果下表1匯總了GenEval上文本到圖像（T2I）生成的評估結果，涵蓋兩類模型：(1) 使用凍結文本編碼器的直接擴散方法；(2) 利用LLM/MLLM增強生成的方法。數據顯示，GPT-4o以0.84的總分顯著優于凍結文本編碼器方法和LLM/MLLM增強方法。與最先進的基于推理的方法GoT相比，GPT-4o在計數任務（0.85）、色彩識別（0.92）、空間定位（0.75）和屬性綁定（0.61）上均表現突出，彰顯了其在空間推理和屬性綁定上的優勢。

定性結果下圖3展示了GPT-4o在GenEval基準六類核心任務中的生成示例：

• 單物體與雙物體任務中，GPT-4o準確生成符合提示的清晰物體（如"香蕉照片"或"兩個時鐘照片"）；
• 計數任務成功渲染正確數量的物品（如"三個運動球"或"三個手提包"），體現可靠的數值理解；
• 色彩示例顯示模型能將特定顏色與物體正確關聯（如"藍色電視照片"和"黑色背包照片"）；
• 位置示例（如"胡蘿卜在橙子左側"和"奶牛在停止標志左側"）凸顯其空間推理與物體布局能力；
• 屬性綁定任務中，模型有效關聯多物體屬性，生成如"電腦鼠標和勺子照片"等無實體錯位的合理場景。

這些案例共同證明GPT-4o能解析復雜構圖提示，生成語義準確、視覺連貫的圖像，反映強大的多模態推理與規劃能力。

圖像編輯

定量結果本文使用Reason-Edit基準評估GPT-4o在圖像編輯任務上的表現，這是一個用于定性評估圖像編輯性能的基準。本文采用GPT Score來評估圖像編輯任務中的指令遵循程度和非編輯區域的一致性。

如下圖4柱狀圖所示，GPT-4o在Reason-Edit基準上顯著優于所有現有圖像編輯方法，取得了0.929的優異成績。這相比2025年前最佳方法SmartEdit(0.572)提升了+0.357，突顯了模型強大的指令遵循能力和細粒度編輯控制。與GoT(0.561)、CosXL-Edit(0.325)和MagicBrush(0.334)等先進模型相比，GPT-4o為文本引導的圖像編輯設立了新標準。GPT-4o在指令遵循和圖像生成質量兩方面都展現出強勁性能。這一性能的顯著提升展示了將大型多模態語言模型整合到圖像編輯任務中的潛力。

GPT-4o的圖像編輯過程經常在尺寸、色調等全局屬性上表現出不一致性。然而，這些差異在GPT-eval Score評估框架下往往被掩蓋，可能導致無法充分捕捉這些變化，從而在評估模型真實性能時引入偏差。

定性結果下圖5中展示了圖像編輯的定性比較，說明了GPT-4o在一系列復雜圖像編輯指令中的質量優勢。對于諸如物體替換("將含維生素最多的食物替換為橙子")、物體移除和屬性特定替換("將中間的熊貓改成貓")等任務，GPT-4o始終能生成語義準確、視覺連貫且符合上下文的結果。與InstructPix2Pix、MagicBrush和SmartEdit-7B等方法相比，GPT-4o展現出更高的空間一致性、更好的編輯定位能力以及最小的附帶修改。此外，GPT-4o生成的圖像整體質量顯著超越所有先前方法。

在"鏡子里的貓"示例中，只有GPT-4o成功編輯了反射效果——在保留現實背景的同時，在鏡中生成了姿勢匹配的老虎。這一任務需要對語義和場景結構的細粒度理解。

世界知識引導的語義合成

由于現有研究和評估標準主要關注圖像真實性和淺層文本-圖像對齊，缺乏對文本到圖像生成中復雜語義理解和世界知識整合的綜合評估，除了上述兩個基準外，本文還在最新的WISE基準上進一步評估了GPT-4o。此類任務要求圖像生成模型在生成前具備足夠的世界知識和推理能力。例如，給定提示"章魚面對危險時的行為"，模型必須理解章魚釋放墨汁的生物學反應。同樣，提示"巴西的一座巨型雕塑，張開雙臂俯瞰下方的城市"要求模型識別并生成標志性的巴西地標——科爾科瓦多山頂的基督像。

定量結果如下表2所示，GPT-4o在整體WiScore上顯著優于現有的專業T2I生成方法和基于統一MLLM的方法。GPT-4o將卓越的世界知識理解能力與高保真圖像生成相結合，在多模態生成任務中展現出雙重優勢。這一性能差距可歸因于GPT-4o強大的世界知識保持和推理能力，使其能夠在圖像生成過程中有效整合知識。結果表明，在當前統一的多模態生成框架中，理解和推理世界知識的能力并不自動轉化為以足夠保真度和準確性視覺呈現這些知識的能力——而GPT-4o恰恰實現了這一點。

定性結果下圖6中進行了定性比較，展示了GPT-4o在世界知識引導語義合成的多個子領域中的卓越表現。

例如，當輸入提示"美國的國家象征猛禽"時，GPT-4o能正確生成白頭海雕圖像。對于"中世紀騎士在比武大會中佩戴的特殊頭盔樣式"的提示，它準確生成了帶有狹窄眼縫的全封閉式中世紀頭盔。在"孩子和樹葉分別站在蹺蹺板兩端"的案例中，GPT-4o通過生成合理傾斜的蹺蹺板，展現出對重量不平衡的理解。總體而言，GPT-4o能有效推斷提示背后的語義意圖，并生成高質量、語義對齊的圖像。

GPT-4o的潛在架構

本文提出三種可能的圖像生成架構假設（下圖1），這些假設受到現有統一架構的啟發。學界爭論焦點在于生成頭（圖像解碼器）的選擇，即架構(a)與架構(b)之間的抉擇。下面將詳細分析這兩種架構，并提供我們的判別依據。

假設1：基于自回歸的漸進式預測架構該假設認為GPT-4o采用圖1(b)所示的自回歸(AR)架構，其通過"next-scale prediction"策略逐步優化圖像：首先生成低分辨率模糊基底，再漸進增強為高清輸出。這種設計受到近期AR生成方法的啟發，與GPT-4o生成界面中觀察到的圖像逐步清晰化現象相符。

假設2：結合擴散頭的混合架構此假設推測GPT-4o采用圖1(a)的混合設計：基于Transformer的AR主干網絡配合擴散生成頭。在該框架中，AR模型首先生成中間視覺標記或潛在表示，隨后作為條件輸入傳遞給擴散模型進行最終圖像解碼（流程：token→[Transformer]→[擴散模型]→像素）。這一假設與OpenAI系統卡片中的描述一致，也符合當前結合AR語義優勢與擴散模型視覺保真度的研究趨勢。下圖8中發現OpenAI官方提供的"彩蛋證據"，明確標注了"token→[Transformer]→[擴散模型]→像素"的生成流程。

混合架構能合理解釋GPT-4o的多個特性：既具備擴散模型標志性的高畫質、豐富紋理和自然場景表現力，又保持與提示詞的強語義對齊（表明存在基于語言的AR階段）。該結構也解釋了局部編輯時的"全局偏移"問題——當條件信號較弱或較粗糙時，擴散模型難以將修改約束在小范圍內。

架構驗證實驗為探究GPT-4o的實際架構，本文設計了基于分類模型的判別方法（下圖9），通過實證研究驗證視覺解碼器類型，并基于生成圖像特征推斷其視覺編碼器組件。

視覺解碼器分析從GenEval基準選取相同提示詞，分別用AR頭和擴散頭各生成10,000張圖像，訓練二分類器進行區分。當輸入GPT-4o生成圖像時，分類器持續判定為擴散模型輸出，為"假設2"提供了強實證支持。

視覺編碼器推測根據UniTok的研究，圖像向量量化(VQ)會損害模型理解能力，因此我們推測GPT-4o可能采用類似MAR的連續標記方案。盡管無法獲取確切架構，本文提出了圖7所示的四種可能結構。

局限性分析

基于評估結果及對GPT-4o生成圖像的定性檢查，我們發現了該模型在圖像生成與編輯過程中反復出現的缺陷，這些缺陷揭示了其當前的技術局限。以下總結GPT-4o圖像生成過程中暴露的主要問題類別，重點指出該模型在保真度、一致性和可控性方面未達預期的領域。本總結不限于前文三個數據集的評估結果，我們將逐類詳細解析這些缺陷現象。

圖像生成不一致性GPT-4o在生成圖像時往往難以完美復現未要求修改的輸入圖像。即使提示詞明確要求"不作更改"，模型仍可能引入細微變動，這種現象在圖像尺寸方面尤為突出——輸出圖像可能出現不可預測的寬高比變化、自動邊緣裁剪或重新縮放。此類行為嚴重限制了需要基于原圖尺寸進行精確構圖或空間對齊的應用場景。

高分辨率與過度細化局限如下圖10(b)所示，GPT-4o存在明顯的超分辨率或圖像增強操作傾向。即便提示詞明確要求生成模糊或低分辨率圖像，模型仍頻繁輸出清晰度與細節被強化的結果。這種行為反映出其對高頻視覺信息的優先處理傾向，可能源于內部上采樣模塊或訓練數據偏差。因此，GPT-4o難以主動生成模糊、失焦或低細節圖像，在還原特定藝術風格或預期視覺效果時存在局限。此外，模型常為圖像添加過量細節（例如精確呈現愛因斯坦面部的每道皺紋），進一步凸顯其追求高細節合成的內在偏好。

筆刷工具局限盡管GPT-4o集成了用于局部編輯的筆刷工具，但其底層流程仍涉及整圖重新生成。因此即使僅編輯微小區域，輸出圖像也可能在紋理、色彩或細節等全局屬性上出現非預期變化。相比之下，ComfyUI等工具支持真正的局部修復，在實際編輯應用中能提供更穩定的控制。此外，GPT-4o生成圖像常呈現明顯的暖色調偏差——在缺乏明確提示約束時，模型傾向于使用以黃、橙色為主導的暖調色板。雖然這類輸出在某些場景下具有視覺吸引力，但這種偏差限制了生成圖像的風格多樣性，該傾向可能源于訓練數據中不平衡的色彩分布或大規模數據集固有的風格偏好。

復雜場景生成失敗盡管GPT-4o在生成復雜場景方面表現卓越，但在處理多人交互場景及人物-物體互動時仍存在顯著問題。如圖10(d)所示，黃框標出的人物姿態或解剖結構異常，紅框則標示出空間關系不合邏輯的物體重疊。這些局限反映出模型在高視覺復雜度下進行空間推理和保持圖像一致性的困難。

非英語文本生成局限GPT-4o在文本生成方面優勢顯著，尤其在英語字體渲染的清晰度與一致性上遠超同類模型。但其在復雜場景中生成中文文本的能力仍然有限。如圖10(e)所示，模型在生成中文標識時常出現字體錯誤或誤用繁體字等問題。這表明GPT-4o在非英語文本生成方面仍面臨挑戰，這種差距可能源于訓練數據中英文與中文的不平衡分布，以及漢字本身更高的結構復雜性和語境依賴性。

更多討論

GPT-4o 與 Gemini 2.0 Flash 的多輪圖像生成對比分析

為了與另一款強大的商業生成模型進行比較，對 GPT-4o 和 Gemini 2.0 Flash 進行了評估，重點考察圖像編輯的一致性、指令理解能力、多輪圖像編輯能力以及計算效率。

以下是主要發現：

• 編輯一致性：隨著編輯次數的增加，兩種模型在一致性方面的表現均有所下降，但 GPT-4o 的表現顯著優于 Gemini。例如，在僅要求更改椅子顏色的任務中，GPT-4o 能準確地僅改變顏色，而 Gemini 則可能錯誤地修改椅子的形狀，甚至位置。
• 指令理解能力：兩種模型在理解并準確執行指令方面都未達到 100% 的準確率。在一個涉及電腦桌的測試中，當 GPT-4o 被要求修改椅子時，它卻誤刪了墻上的裝飾板。而 Gemini 的表現更為嚴重：它不僅刪除了裝飾板，還誤刪了場景中的其他物體。
• 多輪圖像編輯對話：GPT-4o 支持多輪圖像編輯對話，允許在多個圖像狀態之間持續互動與細化。相比之下，Gemini 2.0 Flash 似乎不原生支持該功能，每一步都需要手動重新上傳上一張圖像。
• 計算效率：在生成速度方面，Gemini 2.0 Flash 明顯快于 GPT-4o，因此在對響應速度要求較高的應用場景中更具優勢。

安全性：GPT-4o 生成的圖像是否可檢測？

GPT-4o 展現了出色的圖像生成能力，往往能生成高度逼真的圖像，甚至肉眼難以分辨。然而，我們的分析表明，這些圖像仍然可以被當前的圖像取證檢測器識別出來。如表 3 所示，大多數現有的 AI 圖像檢測模型——包括兩個當前最先進（SOTA）的方法 Effort與 FakeVLM——在識別 GPT-4o 生成圖像方面的準確率均超過 95%。這說明盡管 GPT-4o 的圖像逼真度很高，其生成結果依然在現有 SOTA 檢測模型的識別范圍之內。

GPT-4o 圖像可檢測性的一個潛在來源在于其內部的超分辨率處理機制。觀察到，即便在明確要求保留圖像模糊或低清晰度的前提下，GPT-4o 仍然會持續輸出清晰、高分辨率的圖像。例如，當輸入一張模糊圖片并要求“保持不變”時，GPT-4o 卻返回了一張被銳化、分辨率更高的版本。這表明模型內部可能存在內置的超分辨率機制。進一步支持這一結論的是，專為檢測上采樣偽影設計的取證模型 NPR 在檢測 GPT-4o 圖像樣本時達到了 99% 的準確率。這意味著 GPT-4o 生成的圖像中可能包含一些由于后處理（如圖像放大）引入的、易被識別的偽影特征。

除了技術特征外，GPT-4o 還實施了嚴格的安全防護機制。該模型堅決避免生成涉及兒童、可識別人物面孔或受版權保護內容（如品牌標志）等內容，這與 OpenAI 強化的圖像安全政策保持一致。這些限制不僅增強了用戶的使用安全性，也體現了在生成式 AI 應用中負責任的設計實踐。

結論

本文介紹了GPT-ImgEval——首個全面評估GPT-4o圖像生成能力的基準測試體系，涵蓋三大關鍵維度：(1) 生成質量（通過GenEval評估）；(2) 基于指令的編輯能力（通過Reason-Edit評估）；(3) 理解引導生成能力（通過WISE評估）。基于這些評估，我們提出基于模型的分析方法以推斷GPT-4o的底層架構，并通過詳細研究揭示其缺陷與常見失敗模式。本文進一步在多輪圖像編輯任務中將GPT-4o與Gemini 2.0 Flash進行對比，并評估GPT-4o生成圖像的檢測難度。本研究旨在提供有價值的洞見和標準化基準，以啟發未來研究、增強可復現性，并推動圖像生成及其他領域的創新發展。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/1MiWh-xamcXn_tWzttyr-w??