本文介紹的是達(dá)摩院魔搭社區(qū) ModelScope 近期開源的中文 CLIP 大規(guī)模預(yù)訓(xùn)練圖文表征模型，更加懂中文和中文互聯(lián)網(wǎng)的圖像，在圖文檢索、零樣本圖片分類等多個(gè)任務(wù)中實(shí)現(xiàn)最優(yōu)效果，同時(shí)代碼和模型已經(jīng)全部開源，用戶能夠使用魔搭快速上手。

• 模型使用入口: https://modelscope.cn/models/damo/multi-modal_clip-vit-base-patch16_zh/summary
• Github: https://github.com/OFA-Sys/Chinese-CLIP
• 論文: https://arxiv.org/pdf/2211.01335.pdf
• 圖文檢索 demo: https://modelscope.cn/studios/damo/chinese_clip_applications/summary 

1. 簡(jiǎn)介

在當(dāng)下的互聯(lián)網(wǎng)生態(tài)中，多模態(tài)相關(guān)任務(wù)和場(chǎng)景簡(jiǎn)直數(shù)不勝數(shù)，如圖文檢索、圖片分類、視頻和圖文內(nèi)容等場(chǎng)景。近年火爆全網(wǎng)的圖片生成更是熱度躥升，迅速出圈。這些任務(wù)的背后，一個(gè)強(qiáng)大的圖文理解模型顯然是必須的。OpenAI 在 2021 年推出的 CLIP 模型，相信大家都不會(huì)陌生，通過(guò)簡(jiǎn)單的圖文雙塔對(duì)比學(xué)習(xí)和大量的圖文語(yǔ)料，使模型具有了顯著的圖文特征對(duì)齊能力，在零樣本圖像分類、跨模態(tài)檢索中效果拔群，也被作為 DALLE2、Stable Diffusion 等圖片生成模型的關(guān)鍵模塊。

但很可惜的是，OpenAI CLIP 的預(yù)訓(xùn)練主要使用英文世界的圖文數(shù)據(jù)，不能天然支持中文。即便是社區(qū)有研究者通過(guò)翻譯的文本，蒸餾出多語(yǔ)言版本的 Multilingual-CLIP (mCLIP)，同樣無(wú)法很好滿足中文世界的需求，對(duì)于中文領(lǐng)域的文本理解不很到位，比如搜索“春節(jié)對(duì)聯(lián)”，返回的卻是圣誕相關(guān)的內(nèi)容：

mCLIP 檢索 demo 搜索 “春節(jié)對(duì)聯(lián)” 返回結(jié)果

這也說(shuō)明，我們需要一個(gè)更懂中文的 CLIP，不僅懂我們的語(yǔ)言，也更懂中文世界的圖像。

2. 方法

達(dá)摩院的研究人員收集了大規(guī)模的中文圖文對(duì)數(shù)據(jù)（約 2 億規(guī)模），其中包括來(lái)自 LAION-5B 中文子集、Wukong 的中文數(shù)據(jù)、以及來(lái)自 COCO、Visual Genome 的翻譯圖文數(shù)據(jù)等。訓(xùn)練圖文絕大部分來(lái)自公開數(shù)據(jù)集，大大降低了復(fù)現(xiàn)難度。而在訓(xùn)練方法上，為了有效提升模型的訓(xùn)練效率和模型效果，研究人員則設(shè)計(jì)了兩階段訓(xùn)練的流程：

Chinese CLIP 方法示意圖

如圖所示，在第一階段，模型使用已有的圖像預(yù)訓(xùn)練模型和文本預(yù)訓(xùn)練模型分別初始化 Chinese-CLIP 的雙塔，并凍結(jié)圖像側(cè)參數(shù)，讓語(yǔ)言模型關(guān)聯(lián)上已有的圖像預(yù)訓(xùn)練表示空間，同時(shí)減小訓(xùn)練開銷。隨后，在第二階段解凍圖像側(cè)參數(shù)，讓圖像模型和語(yǔ)言模型關(guān)聯(lián)的同時(shí)并建模中文特色的數(shù)據(jù)分布。研究者發(fā)現(xiàn)，相比從頭開始做預(yù)訓(xùn)練，該方法在多個(gè)下游任務(wù)上均展現(xiàn)顯著更優(yōu)的實(shí)驗(yàn)效果，而其顯著更高的收斂效率也意味著更小的訓(xùn)練開銷。相比全程只訓(xùn)練文本側(cè)做一階段訓(xùn)練，加入第二階段訓(xùn)練能有效在圖文下游任務(wù)，尤其是中文原生（而非翻譯自英文數(shù)據(jù)集）的圖文任務(wù)上進(jìn)一步提升效果。

在 MUGE 中文電商圖文檢索、Flickr30K-CN 翻譯版本通用圖文檢索兩個(gè)數(shù)據(jù)集上觀察 zero-shot 隨著預(yù)訓(xùn)練持續(xù)進(jìn)行的效果變化趨勢(shì)

利用這一策略，研究人員訓(xùn)練了多個(gè)規(guī)模的模型，從最小的 ResNet-50、ViT-Base 和 Large，直到 ViT-Huge 應(yīng)有盡有，目前已經(jīng)全部開放，用戶完全可以按需使用最適合自身場(chǎng)景的模型：

3. 實(shí)驗(yàn)

多項(xiàng)實(shí)驗(yàn)數(shù)據(jù)表明，Chinese-CLIP 可以在中文跨模態(tài)檢索取得最優(yōu)表現(xiàn)，其中在中文原生的電商圖像檢索數(shù)據(jù)集 MUGE 上，多個(gè)規(guī)模的 Chinese CLIP 均取得該規(guī)模的最優(yōu)表現(xiàn)。而在英文原生的 Flickr30K-CN 等數(shù)據(jù)集上，不論是零樣本還是微調(diào)的設(shè)定下，Chinese CLIP 均能顯著地超出國(guó)內(nèi) Wukong、Taiyi、R2D2 等基線模型。這在很大程度上歸功于 Chinese-CLIP 更大規(guī)模的中文預(yù)訓(xùn)練圖文語(yǔ)料，以及 Chinese-CLIP 不同于國(guó)內(nèi)現(xiàn)有一些圖文表征模型為了最小化訓(xùn)練成本全程凍結(jié)圖像側(cè)，而是采用兩階段的訓(xùn)練策略的做法，以更好適配中文領(lǐng)域：

MUGE 中文電商圖文檢索數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

Flickr30K-CN 中文圖文檢索數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

同時(shí)，研究人員在零樣本圖像分類數(shù)據(jù)集上驗(yàn)證了中文 CLIP 的效果。由于中文領(lǐng)域比較權(quán)威的零樣本圖像分類任務(wù)并不多，研究人員目前在英文翻譯版本的數(shù)據(jù)集上進(jìn)行了測(cè)試。Chinese-CLIP 在這些任務(wù)上，通過(guò)中文的 prompt 和類別標(biāo)簽，能夠取得和 CLIP 相當(dāng)?shù)谋憩F(xiàn)：

零樣本分類實(shí)驗(yàn)結(jié)果

零樣本圖片分類示例

4．快速使用

如何才能用上 Chinese-CLIP ？很簡(jiǎn)單，點(diǎn)擊文章開頭的鏈接訪問(wèn)魔搭社區(qū)或使用開源代碼，短短幾行就能完成圖文特征提取和相似度計(jì)算了。如需快速使用和體驗(yàn)，魔搭社區(qū)提供了配置好環(huán)境的 Notebook，點(diǎn)擊右上方即可使用。

Chinese-CLIP 也支持用戶使用自己的數(shù)據(jù)進(jìn)行 finetune，同時(shí)還提供了一個(gè)圖文檢索的 demo，供大家實(shí)際體驗(yàn) Chinese-CLIP 各規(guī)模模型的效果：

5. 結(jié)語(yǔ)

此次達(dá)魔搭社區(qū)推出 Chinese-CLIP 項(xiàng)目，為廣大中文多模態(tài)研究和產(chǎn)業(yè)界用戶，提供了一個(gè)優(yōu)秀的預(yù)訓(xùn)練圖文理解模型，幫助大家無(wú)門檻快速上手圖文特征 & 相似度計(jì)算、圖文檢索以及零樣本分類，并可嘗試用于搭建像是圖像生成這樣更復(fù)雜的多模態(tài)應(yīng)用。想要在中文多模態(tài)領(lǐng)域一展拳腳的朋友們，請(qǐng)一定不要錯(cuò)過(guò)！而這也僅僅是魔搭社區(qū)的一項(xiàng)應(yīng)用之一，ModelScope 讓眾多 AI 領(lǐng)域的基礎(chǔ)模型扮演應(yīng)用基座的角色，支持更多創(chuàng)新模型、應(yīng)用甚至產(chǎn)品的誕生。