本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

 別再怕圖片搜索結(jié)果牛頭不對馬嘴了，你可以試試這個精準圖片搜索，來自OpenAI最新的技術(shù)CLIP。

只需一句“大白話”描述，便能給出想要的圖片。

例如輸入：

The word love written on the wall

就會得到這樣的結(jié)果：

可以說是相當?shù)?strong>精準了！這就是今天在Reddit上爆火的一個項目。

這個項目利用到的，便是OpenAI前不久頻頻刷屏的DALL·E中的核心模塊——CLIP，一個負責重排序（rerank）的模型。

這個項目使用谷歌Colab Notebook，而且在線、免費，包含200萬圖片數(shù)據(jù)集，最重要的是效果還非常的精準。

不禁引得網(wǎng)友直呼“Amazing”。

簡單幾步，“大白話”在線精準搜圖

這個項目之所以如此火爆，操作簡單是很重要的一個原因之一。

首先要做的，就是點開該項目在Colab Notebook中的地址（見文末鏈接），登陸自己的賬號。

至于環(huán)境配置、包或庫的調(diào)用，這個項目非常貼心的已經(jīng)做好了，只需要依次點擊cell左側(cè)的小三角，等待運行完成即可。

最后，來到包含如下代碼的cell：

search_query = “Two dogs playing in the snow”

點擊運行這個cell，便可得到搜索圖片的結(jié)果，例如：

當然，這個程序似乎很懂人，若是輸入“當你的代碼跑通時的情緒”：

The feeling when your program finally works

得到的結(jié)果，和正常人想象中的應(yīng)該是一致的：

為什么CLIP搜圖能如此精準？

OpenAI前不久推出的DALL·E，主要能實現(xiàn)的功能就是 可以按照文字描述、生成對應(yīng)圖片。

而其呈現(xiàn)給我們的最終作品，其實是它生成大量圖片中的一部分。

在中間過程中，其實也有排名、打分的帥選過程。

這部分的任務(wù)，便是由CLIP來完成：

越是它看得懂、匹配度最高的作品，分數(shù)就會越高，排名也會越靠前。

這種結(jié)構(gòu)，有點像是利用生成對抗文本，以合成圖像的GAN。

不過，相比于利用GAN擴大圖像分辨率、匹配圖像-文本特征等方法，CLIP則選擇了直接對輸出進行排名。

據(jù)研究人員表示，CLIP網(wǎng)絡(luò)的最大意義在于，它緩解了深度學習在視覺任務(wù)中，最大的兩個問題。

首先，它降低了深度學習需要的數(shù)據(jù)標注量。

相比于手動在ImageNet上，用文字描述1400萬張圖像，CLIP直接從網(wǎng)上已有的“文字描述圖像”數(shù)據(jù)中進行學習。

此外，CLIP還能“身兼多職”，在各種數(shù)據(jù)集上的表現(xiàn)都很好（包括沒見過的數(shù)據(jù)集）。

但此前的大部分視覺神經(jīng)網(wǎng)絡(luò)，只能在訓練的數(shù)據(jù)集上有不錯的表現(xiàn)。

例如，CLIP與ResNet101相比，在各項數(shù)據(jù)集上都有不錯的檢測精度，然而ResNet101在除了ImageNet以外的檢測精度上，表現(xiàn)都不太好。

具體來說，CLIP用到了零樣本學習（zero-shot learning）、自然語言理解和多模態(tài)學習等技術(shù)，來完成圖像的理解。

例如，描述一只斑馬，可以用“馬的輪廓+虎的皮毛+熊貓的黑白”。這樣，網(wǎng)絡(luò)就能從沒見過的數(shù)據(jù)中，找出“斑馬”的圖像。

最后，CLIP將文本和圖像理解結(jié)合起來，預測哪些圖像，與數(shù)據(jù)集中的哪些文本能完成最好的配對。

網(wǎng)友：機器人（bot）可能不太高興

在驚嘆CLIP用“大白話”搜索圖片效果之余，一位Reddit網(wǎng)友還發(fā)現(xiàn)了一個比較有意思的搜索結(jié)果。

他在文本描述的代碼部分輸入：

What image best represents how you feel right now？

這句話在我們?nèi)祟愌壑校瑧?yīng)當是詢問AI的語氣了，然后出來的圖片結(jié)果是這樣的：

還有這樣的：

嗯，看來是被“玩多了”，AI寶寶有點小脾氣了。

參考鏈接：
https://www.reddit.com/r/MachineLearning/comments/l52qe6/p_use_natural_language_queries_to_search_2/

項目地址：
https://colab.research.google.com/github/haltakov/natural-language-image-search/blob/main/colab/unsplash-image-search.ipynb#scrollTo=OswqrzaeMy1J