谷歌研究人員發表了一篇新論文，警告生成式人工智能正在用虛假內容毀掉互聯網。

這極具諷刺意味，因為倘若互聯網真的在被GenAI所荼毒，谷歌自己也「功不可沒」——它是世界上最大的構建、部署和推廣GenAI的公司之一。

廣為人知的是，其之前在搜索頁面推出的AI概述功能，居然出現了「披薩上涂膠水」「吃石頭」之類令人啼笑皆非的離譜建議，后來谷歌不得不手動刪除這些錯誤信息。

這篇論文由谷歌人工智能研究實驗室DeepMind、安全智囊團Jigsaw和慈善機構Google.org的研究人員共同撰寫，他們深入調查了關于生成式人工智能的研究報告，以及約200篇關于生成式人工智能濫用的新聞報道，對生成式AI工具被濫用的不同方式進行了分類。

圖片

論文地址：https://arxiv.org/abs/2406.13843

最終得出結論：在現實世界的濫用案例中，篡改人類肖像和偽造證據是最普遍的。這么做的意圖也很明確，無非是為了影響公眾輿論、詐騙，或牟取利益。

奧特曼和馬斯克都曾經警告過AGI可能會帶來「生存性風險」，但谷歌這次的研究重點是生成式人工智能。

生成式人工智能的風險雖然還沒有上升到「威脅生存」的地步，但是卻更加迫近——這是當下正在發生的事情，而且未來可能會變得更糟。

因為這種技術讓任何人都可以輕松地生成文本、音頻、圖像和視頻，互聯網上充斥著偽造或篡改的人工智能生成的內容，「真實與虛假之間的界限被模糊掉了」。

「虛假信息炮制機」是GenAI的宿命？

研究人員發現，大多數GenAI濫用案例都是對系統的正常使用，并沒有「越獄」行為，這類「常規操作」占了9成。

圖片

正如研究人員在論文后面所解釋的那樣，GenAI的廣泛可用性、可訪問性和超現實性，使得層出不窮的、較低級別的濫用形式成為可能——生成虛假信息的成本實在是太低了！

閱讀完這篇論文之后，你可能會情不自禁產生這樣的感受：人們并沒有濫用GenAI，只不過是按照其產品設計正常使用而已。

人們使用生成式人工智能來制作大量虛假內容，是因為它本來就非常擅長完成這項任務。

很多虛假內容往往既沒有明顯的惡意，也沒有明確違反這些工具的內容政策或服務條款，但其潛在的危害是巨大的。

這一觀察結果與404 Media之前的報道不謀而合。

那些利用人工智能冒充他人、擴大不良內容的規模和傳播范圍，或制作未經同意的私密圖片（nonconsensual intimate images，NCII）的人，大多并沒有入侵或操縱他們正在使用的人工智能生成工具，他們是在允許的范圍內使用這些工具。

很簡單就能舉出2個例子：

AI工具的「圍欄」可以用一些提示巧妙避過，沒有什么能阻止用戶使用ElevenLabs的人工智能語音克隆工具高度逼真地模仿出同事或明星的聲音。

圖片

Civitai用戶可以創建人工智能生成的名人圖像，雖然該平臺有禁止NCII的政策，但同樣沒有什么能阻止用戶在自己的機器上使用GitHub上開源的工具（如 Automatic1111 或 ComfyUI）來生成 NCII。

斯嘉麗·約翰遜的頭像是DeepFake重災區

將這些AI生成的內容發到Facebook可能違反了平臺的政策，但生成這個行為本身并沒有違反他們所使用的人工智能圖片生成器的政策。

媒體：GenAI的濫用只是冰山一角

因為谷歌的研究素材大量來自于媒體報道，這就帶來了一個問題：這是否會讓研究結論帶有媒體的偏見？畢竟作為探照燈的媒體，在選題和報道上有自己的偏向。

那些聳人聽聞的事件更容易被報道，這可能會導致數據集偏向特定類型的濫用。

404 Media對此做出了回應：雖然媒體確實只能報道它所能證實的事件，但是可以確定的一點是，還有大量的我們尚未意識到的生成式人工智能的濫用沒有被報道。

即便是上文提到的用AI生成名人色情圖片的情況，被媒體大量揭露，但仍然存在報道不足的問題。

首先是因為這一話題仍是禁忌，有很多出版物不愿報道。

其次是因為媒體只能捕捉到個例，無法始終關注事件的整體和后續，404 Media的一名編輯寫道：

圖片

在我聯系Patreon官方作出回應（之后發言人關閉了他的賬戶）之前，我寫過一篇報道，關于一個用戶在Patreon上通過 NCII 盈利，他制作了53190張未經同意的名人圖片。那篇報道中還提到了另外兩名NCII制作者，之后我又發現了其他人。

泰勒·斯威夫特在推特上瘋傳的人工智能生成的裸體圖片就是在Telegram和4chan社區首次分享的，在一月份那篇報道爆出前后，這些社區都很活躍，從那以后，他們每天都在發布NCII。

我和其他記者不會對每一張圖片和創作者都進行報道，因為如果這樣做，我們就沒有時間做其他事情了。

當虛假信息泛濫，甩鍋給AI變得很容易

讓我們做一個推演，當互聯網上充斥著人工智能生成的內容，會發生什么？

最直接的后果是，互聯網上的混亂狀況會對人們辨別真假的能力帶來巨大的考驗，我們將陷入一種經常性的懷疑，「這是真的嗎」？

在互聯網剛剛出現的時代，流行的一句話是，「你不知道網線那頭是人是狗」，現在這種趨勢愈演愈烈了，人們被虛假的人工智能生成內容所淹沒，越來越疲于應對。

如果不加以解決，人工智能生成的內容對公開數據的污染還可能會阻礙信息檢索，扭曲對社會政治現實或科學共識的集體理解。

而且，這可能會成為一些知名人物的「擋箭牌」，在某些情況下，他們能夠將對自己不利的證據解釋為人工智能生成的，輕巧地將舉證的責任轉移出去。

對于生成式AI所帶來的虛假內容的泛濫，谷歌起到了推波助瀾的作用，甚至可以說是「始作俑者」也不為過，多年前射出的子彈，今日終于擊中了自己的眉心。

參考資料：

https://arxiv.org/abs/2406.13843

https://futurism.com/the-byte/google-researchers-paper-ai-internet