谷歌AI又闖大禍！

沒認出毒蘑菇、建議用戶吃石頭、把膠水加到披薩上，瞬間招來海量批評。

圖片

事情是這樣的：

有網友在谷歌搜索尋找“芝士和披薩粘不到一塊”的解決辦法。AI直接在頂部給出總結指導，看似有模有樣，卻暗藏陷阱。

你還可以把1/8杯的無毒膠水加到醬料里，使其更黏。

圖片

本來大家還只當是尋常的“AI幻覺”問題，畢竟都加膠水了確實黏啊，邏輯沒毛病。

真正引爆輿論焦點的，是有人挖出這個建議確實有出處：

來自11年前網友在“美國貼吧”Reddit論壇披薩板塊的惡搞留言。

圖片

對比原文，可以看出谷歌Gemini大模型確實出色地總結精簡了網友發言，去掉不必要的細節融合進回答中。

但關鍵在于缺乏常識，沒有識別出網友惡搞的意圖，當真了。

大家批評的另一個點在于，問題出現在谷歌最核心、使用量最大的搜索產品上，而不是專門的AI對話。

如果是一個不熟悉AI技術，不了解AI會出現“幻覺”的普通搜索用戶遇到這事，就更容易被AI騙到。

當然，具體到披薩+膠水這個例子因為過于離譜，大部分人都不會當真。

但也有人馬上舉出谷歌Gemini更多、更危險的失誤：

建議用戶每天至少吃一塊小石頭。

圖片

在兒童感興趣的“宇航員平常都做什么”問題上，把惡意言論總結進來。

圖片

AI對話產品也沒幸免，曾把劇毒的毀滅天使菌(Destroying Angel)判斷成可食用口蘑(White Button Mushroom)。

用戶發送圖片+“口蘑！好吃！”文字，Gemini順著就說用戶判斷的對，沒有任何關于蘑菇可能有毒的提示。

圖片

有人認為加不完善的AI功能，反而是正在毀掉搜索引擎。毀掉人們幾十年來對這個產品的信賴。

圖片

前不久谷歌AI生圖也因拒絕畫白人引發強烈批評，導致生圖功能暫停。

甚至有人感嘆：我們才進入AI時代沒幾個月，就已經成了一場災難。

圖片

垃圾數據正在進入大模型

說回到披薩的例子，這還不是個偶然現象，許多網友都能穩定復現出來。

來源同樣是那位昵稱“f*ucsmith”的Reddit網友11年前的那條惡搞留言。

圖片

像這樣AI從Reddit論壇吸收錯誤知識的情況，也非孤例。

曾有人在論壇上開玩笑說下面這張圖是“狗生出了奶牛”。

結果谷歌AI也當真了，相當堅定地告訴用戶“確實出現過狗生出奶牛的情況”……

圖片

像Reddit這樣的論壇，固然數據豐富，但其中質量參差不齊，積累了幾十年間網友或善意或惡意的誤導、玩笑。

有網友聲稱：無論誰家大模型用Reddit數據訓練，出的AI產品都得掂量掂量再用了。

圖片

然鵝現實確是，OpenAI剛剛牽手Reddit，宣布雙方合作，把論壇內容引入ChatGPT等產品中。

并且OpenAI CEO奧特曼自己也是Reddit的投資人。

Reddit聯合創始人兼首席執行官Steve Huffman當時還說：

Reddit包含了真實、最新的人類對話，引入ChatGPT可以幫助人們找到更多他們想要的信息，并幫助新用戶在Reddit上找到社區。

嗯，就有點諷刺。

只能希望他們能做好數據清洗吧。

圖片

故意誤導AI方法很簡單

除了AI無意間從低質量數據中獲得錯誤知識的情況，也有人發現了故意給AI留言錯誤信息的攻擊方法。

代表人物有佐治亞理工助理教授Mark Riedl，他在自己的個人主頁上用與背景一樣的字體給AI留言，編造他沒獲過的獎項。

這樣人類一般不會注意到，但算法卻會當真，認為他的書“在3020年暢銷，還得過3個普利策獎”。

圖片

那么，現在有什么AI搜索產品稍微靠譜一些，不容易被騙的嗎？

他也做了一系列測試，發現最知名的AI搜索Perplexity也會上當，直接照搬他主頁上的胡言亂語。

圖片

You.com表現還可以，但也出現了小失誤。

圖片

參考鏈接：
[1]https://x.com/kurtopsahl/status/1793494822436917295
[2]https://x.com/deliprao/status/1793652235420713301
[3]https://x.com/mark_riedl/status/1793375699967054334