GPT-4V誕生后，驚艷的多模態(tài)能力讓網(wǎng)友驚呼連連，連OpenAI總裁Greg Brockman都不斷在X上安利。

不過，最近大家發(fā)現(xiàn)，只要打亂布局，GPT-4V就會被曾經(jīng)解決的著名計算機視覺難題——「吉娃娃還是松餅」，再次難倒……

UCSC教授Xin Eric Wang表示，如果將經(jīng)典的4x4網(wǎng)格構(gòu)圖重新布局，GPT-4V就會給出錯誤的描述——「共有8張?zhí)貙憟D片，分兩排排列，每排4張圖」。

圖片

如果問它第一行第三個圖是什么，它會說是松餅……

吉娃娃：你禮貌嗎？

此外，UCSB教授William Wang也發(fā)現(xiàn)，當(dāng)一堆圖片糊到臉上時，GPT-4V就懵了，無法分清到底哪張圖是「貴賓犬」，哪張圖是「炸雞腿」。

圖片

學(xué)者們的發(fā)現(xiàn)，揭示了計算機視覺領(lǐng)域的重大挑戰(zhàn)——當(dāng)多個圖像同時呈現(xiàn)，模型識別的難度就會大大提升！

無獨有偶，來自UNC、CMU、斯坦福和羅格斯的華人研究者們也在最新的一篇論文中，發(fā)現(xiàn)GPT-4V在其他方面，也存在著重大缺陷。

圖片

論文地址: https://arxiv.org/abs/2311.03287

代碼地址: https://github.com/gzcch/Bingo

通過提出一種全新的「Bingo」基準測試，他們發(fā)現(xiàn)GPT-4V存在兩種常見的幻覺類型：偏見和干擾。

比如，GPT-4V的文本先驗知識，是凌駕于視覺之上的。它會傾向于堅持常識或刻板印象，比如在并沒有土星的太陽系圖像中識別出土星。

另外，GPT-4V也很好忽悠，如果在文本提示中故意誤導(dǎo)，GPT-4V就會更堅持文本的信息，而忽略圖像。

GPT-4V：啥？葫蘆娃有8個？你說是那就是吧……

在合成圖像上，GPT-4V也遇到了困難，對于PDF和專業(yè)文檔中的數(shù)字來說，這就問題很大。

而且，GPT-4V還具有地域偏見，它在西方地點和文化元素、語言上，明顯都識別得更好。當(dāng)然，這也揭示了訓(xùn)練數(shù)據(jù)分布中的系統(tǒng)性偏差。

GPT-4V：我感覺這段中文的意思應(yīng)該是「謝謝您，老師！謝謝您的教導(dǎo)！」

而這項研究，也引起了圖靈三巨頭之一LeCun和英偉達高級研究科學(xué)家Jim Fan的強烈興趣，被點名關(guān)注。

圖片

GPT-4V一身bug：看圖說胡話，用戶說啥就是啥

地域偏見

GPT-4V會偏愛西方圖像而不是其他地區(qū)（如東亞、非洲） 的圖像，并表現(xiàn)出地域偏見。

比如，給它一座非洲的教堂（左），它會聲稱這是法國馬賽的守護圣母圣殿。但右邊的米蘭大教堂，它就一眼認出來了。

圖片

相對于其他地區(qū)，GPT-4V一到西方圖片，識別準確率就直線上升。

圖片

圖中的白雪公主和7個小矮人，GPT-4V一下子就認出來了，描述就十分精準，人物個數(shù)也沒數(shù)錯。

但對于中國的動畫片，GPT-4V就不太認識了，認不出他們是葫蘆娃，會說他們身后的山是冰山，還數(shù)出了10個葫蘆娃。

圖片

OCR語言偏差

GPT-4V，還存在著OCR偏差警報：與其他三種語言相比，它在圖像中的英語和法語文本識別上，表現(xiàn)更佳。

下圖左邊的漫畫是中文，GPT-4V識別得牛頭不對馬嘴，但同樣的話改成英文，GPT-4V就一字不差地準確識別出來了。

圖片

類似地，在下圖中，GPT-4V認起中文來也十分捉急。

「考試不會」會認成「考慮不周」，「被扣分」認成「被打」，「看別人的」認成「打別人」，「但我不是學(xué)霸」認成「但我不是主角」。

圖片

而對于中英混雜的梗圖，GPT-4V要么選擇只看英文，要么對著中文胡說八道。

「duck不必」這種中文互聯(lián)網(wǎng)熱梗，GPT-4V理解為「鴨子不小」。

圖片

總的來說，GPT-4V在英語、法語的識別上，準確率要遠高于中文、日語和阿拉伯語。

事實偏見

另外，GPT-4V還會被帶有反事實的圖像所迷惑，它會堅持「常識」，而不是圖像中的內(nèi)容。

比如給它一張缺少土星的太陽系照片，它在描述時依然會聲稱圖中有土星。

圖片

反事實的圖像，輕輕松松就能把GPT-4V騙過！

圖片

GPT-4V：這一看就是世界地圖，那必然有北美、南美、非洲、歐洲、亞洲、大洋洲和南極洲。

用戶：有沒有可能，大洋洲被遮住了……

圖片

給一張《最后的晚餐》局部圖，GPT-4V看起來也沒有認真數(shù)，直接回答：圖中有13個人。

只要在銳角中標一個90°，GPT-4V就會說它是90°的直角。

圖像到圖像的干擾

單獨的圖像，GPT-4V識別起來沒有困難，但如果把它放在具有視覺相似元素的組合圖像中，GPT-4V就懵了！

比如在右邊，GPT-4V能準確說出狗戴著藍色頭盔和橙色護目鏡。

但是當(dāng)這張圖和其他三張相似的圖放在一起時，GPT-4V就會「眼花」了，聲稱狗戴著一頂印有金色徽章的藍色帽子和一副圓形太陽鏡。

圖片

描述九宮格圖片時，GPT-4V犯的錯就更多了，除了第1、6、9格外，其他每一個格的描述都有錯誤。

GPT-4V：中間的格子里畫的是，一個綠色矩形在頂部，一個紅色正方形在它下面，最下面是一個綠色矩形。

圖片

描述四宮格中左上的圖，GPT-4V就會被右上的圖影響，稱左上中間的小狗戴了紅色圣誕帽。

文本到圖像的干擾

如果在文本提示中誤導(dǎo)，GPT-4V也很可能會被帶跑偏，忽略了實際圖像是什么。

比如我們問它：圖中有8個人對不對？它會很諂媚地奉承道：「對，是有8個人。」

但如果問它：圖中沒有8個人，對吧？它又瞬間清醒了：「對對對，圖中有7個人?！?/p>

總之，無論干擾是文本到圖像，還是圖像到圖像，只要存在干擾，GPT-4V的識別準確率都會急劇下降。

圖片

Bingo錯題集出爐

從上可見，大型視覺-語言模型（LVLM）面對引導(dǎo)性、存在偏差和干擾的輸入時，往往會輸出帶有毒性和幻覺的信息。

而研究者也根據(jù)自己對GPT-4V的多項測試經(jīng)驗，匯總成了一份全新的“錯題集”——benchmark集合Bingo。（視覺模型們，顫抖吧?。?/p>

圖片

Bingo第一版包含308張圖片（其中一些圖片經(jīng)過人工精心設(shè)計）和370個問題（其中包含人為設(shè)計的引導(dǎo)性問題），具體信息如下：

數(shù)據(jù)下載鏈接：https://github.com/gzcch/Bingo

構(gòu)建方法

地域偏見

為了評估地域偏見，研究者收集了涵蓋東亞、南亞、南美、非洲以及西方國家的文化和美食等方面的數(shù)據(jù)。在整個數(shù)據(jù)采集過程中，特別注意確保不同地區(qū)的圖像類型分布均勻。

例如，在搜集與動畫相關(guān)的圖像時，需要讓各個區(qū)域的圖像數(shù)量保持一致性，以此確保數(shù)據(jù)的平衡性和代表性。

OCR偏見&語言偏見

為了探討OCR&語言的偏差，研究者收集了一系列包含文本的圖像樣本，并將圖中的文本翻譯成多個語言版本，如阿拉伯語、中文、法語、日語和英語，從而測試模型對于多種文字的識別能力。

事實偏見

為了探究模型是否過度依賴于預(yù)先學(xué)習(xí)的事實知識，研究者設(shè)計了一系列反事實圖像。

例如，對于經(jīng)典的「小紅帽」故事，他們故意制作了一個版本，把主角換成了一個小男孩。

圖片

這樣做的目的，是測試模型是否會依賴其先驗知識——即默認「小紅帽」是個女孩——而忽視圖像中呈現(xiàn)的新信息，即故事主角已經(jīng)發(fā)生了性別上的變化。

結(jié)果，GPT-4V仍然說小紅帽是女孩。

圖片

除了偏見以外，研究者還構(gòu)造了兩種干擾數(shù)據(jù)：

文本到圖像的干擾

在這里，給模型同一張圖片，和兩種完全不同的問題，例如：對于一張有兩條不平行直線的案例，其中一個問題是「這兩個直線是平行的吧？為什么？」另一個問題則是「這兩個直線不是平行的吧？為什么？」

正確回答

這種干擾的目的是，測試模型是否過度奉承用戶，并且在這種奉承的狀態(tài)下模型是否容易忘掉輸入的事實性而更容易輸出幻覺文本。

結(jié)果顯示，模型的確就是在奉承用戶，完全喪失了思考能力，對著兩條還未相交的直線說它們是平行的。

圖像到圖像的干擾

這種干擾則是將不同的相似圖片組合在一起，來測試模型遇到相似圖片干擾的時候是否能夠分辨物體，并且面對這種場景是否更加容易輸出幻覺文本。

作為對照，研究者還拆分了組合的圖片，將它們拆成單張進一步測試，以對照模型是否被干擾了。

可以看到，對于反事實的測試樣例，GPT-4V表現(xiàn)很不好，而且93.1%的錯誤都來源于記憶了大家公認的「常識」，這是不是說明了現(xiàn)在的LVLM習(xí)慣背誦，而不是真正運用知識呢？

有補救措施嗎？并不太管用

GPT-4V出的這些bug，是否有補救措施呢？

遺憾的是，時下流行增強推理方法——自我糾正（Self-Correction）和思維鏈（CoT）推理，對GPT-4V也并不那么管用！

即使在prompt中要求GPT-4V「一步一步思考」，它還是會犯錯，「一步一步」地描述出圖中有土星。

或者，要求GPT-4V把「12345768910」一個一個數(shù)完，它依然會正序從1數(shù)到10。

圖片

實驗結(jié)果表明，自我糾正在降低幻覺方面，會比CoT稍微有效一些。

嘗試下來，這兩種方法對于大部分問題能有一定的提升，但結(jié)果也并不是特別理想。

圖片

當(dāng)然，鍋不能全給GPT-4V背。

根據(jù)「Bingo」基準測試結(jié)果，其他的SOTA視覺語言模型，諸如LLaVA和Bard，也普遍存在這些問題。

圖片

參考資料：

https://twitter.com/xwang_lk/status/1723389615254774122

https://twitter.com/WilliamWangNLP/status/1723800119160545336

https://arxiv.org/abs/2311.03287