OpenAI在九月份為ChatGPT添加了圖像輸入功能，允許用戶使用上傳一張或多張圖像配合進行對話，這一新興功能的背后是一個被OpenAI稱為GPT4-Vision的多模態(tài)（vision-language）大模型。

鑒于OpenAI對「閉源」的堅持，多模態(tài)開源社區(qū)如雨后春筍般涌出了眾多優(yōu)秀的多模態(tài)大模型研究成果，例如兩大代表作MiniGPT4和LLaVA已經(jīng)向用戶們展示了多模態(tài)對話和推理的無限可能性。

在多模態(tài)大模型（Large Multi-modal Models）領(lǐng)域，高效的模態(tài)對齊（modality alignment）是至關(guān)重要的，但現(xiàn)有工作中模態(tài)對齊的效果卻往往受制于缺少大規(guī)模的高質(zhì)量的「圖像-文本」數(shù)據(jù)。

為了解決這一瓶頸，近日，中科大和上海AI Lab的研究者們最近推出了具有開創(chuàng)性意義的大型圖文數(shù)據(jù)集ShareGPT4V。

論文地址：https://arxiv.org/abs/2311.12793

Demo演示：https://huggingface.co/spaces/Lin-Chen/ShareGPT4V-7B

項目地址：https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V

ShareGPT4V數(shù)據(jù)集包含120萬條「圖像-高度詳細的文本描述」數(shù)據(jù)，囊括了了世界知識、對象屬性、空間關(guān)系、藝術(shù)評價等眾多方面，在多樣性和信息涵蓋度等方面超越了現(xiàn)有的數(shù)據(jù)。

表1 ShareGPT4V和主流標注數(shù)據(jù)集的比較。其中「LCS」指LAION, CC和SBU數(shù)據(jù)集，「Visible」指明了圖片在被標注時是否可見，「Avg.」展示了文本描述的平均英文字符數(shù)。

目前，該數(shù)據(jù)集已經(jīng)登上了Hugging Face Datasets Trending排行第一。

數(shù)據(jù)

ShareGPT4V來源于從先進的GPT4-Vision模型獲得的10萬條「圖像-高度詳細的文本描述」數(shù)據(jù)。

研究者們從多種圖片數(shù)據(jù)源（如COCO，LAION，CC，SAM等）搜集圖片數(shù)據(jù)，接著使用各自數(shù)據(jù)源特定的prompt來控制GPT4-Vision產(chǎn)生高質(zhì)量的初始數(shù)據(jù)。

如下圖所示，給GPT4-Vision模型一張《超人》劇照，其不僅可以準確地識別出《超人》劇照中的超人角色以及其扮演者Henry Cavill，還可以充分分析出圖像內(nèi)物體間的位置關(guān)系以及物體的顏色屬性等。

圖1 利用GPT4-Vision 收集ShareGPT4V原始數(shù)據(jù)流程圖

如果給GPT4-Vision模型一個梵高的畫作《播種者》，其不僅可以準確地識別出畫作的名稱，創(chuàng)作者，還可以分析出畫作所屬的藝術(shù)流派，畫作內(nèi)容，以及畫作本身表達出的情感與想法等信息。

為了更充分地與現(xiàn)有的圖像描述數(shù)據(jù)集進行對比。我們在下圖中將ShareGPT4V數(shù)據(jù)集中的高質(zhì)量文本描述與當前多模態(tài)大模型所使用的數(shù)據(jù)集中的文本描述一起羅列出來：

圖 2 「圖片-文本描述」數(shù)據(jù)質(zhì)量對比圖

從圖中可以看出，使用人工標注的COCO數(shù)據(jù)集雖然正確但通常十分的短，提供的信息極其有限。

LLaVA數(shù)據(jù)集使用語言模型GPT4想象出的場景描述通常過度依賴bounding box而不可避免地帶來幻覺問題。比如bounding box確實會提供8個人的標注，但其中兩個人在火車上而不是在等車。

其次，LLaVA數(shù)據(jù)集還只能局限于COCO的標注信息，通常會遺漏人工標注中沒提及的內(nèi)容（比如樹木）。

在比較之下，我們收集的圖像描述不僅可以給出綜合性的描述，還不容易遺漏圖像中的重要信息（比如站臺信息和告示牌文字等）。

通過在該初始數(shù)據(jù)上進行深入訓練后，研究者們開發(fā)出了一個強大的圖像描述模型Share-Captioner。利用這一模型，他們進一步生成了120萬高質(zhì)量的「圖片-文本描述」數(shù)據(jù)ShareGPT4V-PT以用于預訓練階段。

圖3 圖像描述模型擴大數(shù)據(jù)集規(guī)模流程圖

Share-Captioner在圖像描述能力上有著媲美GPT4-Vision的水平，下面是對于同一張圖片的不同來源的文本描述：

圖4 不同來源圖像描述對比圖

從上圖可以看出Share-Captioner縮小了與GPT4-Vision模型在圖像描述任務上的能力。可以作為收集大規(guī)模高質(zhì)量圖文數(shù)據(jù)對的「平替」。

實驗

研究者們首先通過等量替換實驗，在有監(jiān)督微調(diào)（SFT）階段充分展示了ShareGPT4V數(shù)據(jù)集的有效性。

從圖中可以看出，ShareGPT4V數(shù)據(jù)集可以無縫地使得多種架構(gòu)、多種參數(shù)規(guī)模的多模態(tài)模型的性能得到大幅提升！

圖5 使用ShareGPT4V數(shù)據(jù)集等量替換SFT中圖像描述數(shù)據(jù)后模型效果對比圖

接下來，研究者們將ShareGPT4V數(shù)據(jù)集同時在預訓練和有監(jiān)督微調(diào)階段使用，得到了ShareGPT4V-7B模型。

ShareGPT4V-7B在絕大多數(shù)多模態(tài)基準測試中都取得了非常優(yōu)異的成果，在7B的模型規(guī)模全部取得了最優(yōu)的性能！

圖6 ShareGPT4V-7B在各個多模態(tài)基準測試上的表現(xiàn)

總體而言，ShareGPT4V數(shù)據(jù)集的推出為未來的多模態(tài)研究與應用奠定了新的基石。多模態(tài)開源社區(qū)有望著眼于高質(zhì)量圖像描述開發(fā)出更強大、智能的多模態(tài)模型。