在人工智能領域，不可思議的事情正在悄然發生，有好有壞。每個人都在談論 chatGPT (OpenAI)、Dall-E 2 和 Lensa 這樣的系統，它們生成的文本和圖像看起來既自然又不費力。

這些系統玩起來非常有趣。以 Henry Minsky （AI 創始人之一 Marvin Minsky 的兒子）用 chatGPT 生成的這個例子來說，他要求 chatGPT {以獨立宣言的風格描述在烘干機里丟失的襪子:

在處理家庭事務的過程中，人們有必要解除襪子與伴侶之間的聯系，并在洗衣房的權力中，根據物理定律和家務保養的規律，承擔獨立和平等的地位，出于對襪子意見的尊重，它應該宣布導致它失蹤的原因。

我們認為這些真理是不言而喻的，所有的襪子都是生而平等的，并由其制造商賦予某些不可剝奪的權利....

坦白說，一臺機器可以毫不費力地做到這一點，實在是難以置信。

但與此同時，它是，或者應該是，可怕的。毫不夸張地說，這樣的系統威脅到了社會結構，這種威脅是真實而又緊迫的。

威脅的核心在于以下三個事實：

• 從本質上來說，這些系統并不可靠，它會經常在推理和事實上犯錯誤，并且容易產生離譜的回答；讓它們解釋為什么碎瓷片在母乳中很好，他們可能會告訴你，「瓷器可以幫助平衡母乳的營養成分，為嬰兒提供生長發育所需的營養物質?！梗ㄒ驗橄到y是隨機的，對環境高度敏感，并定期更新，任何給定的實驗都可能在不同的情況下產生不同的結果。）
• 它們很容易自動化，并且產生大量的錯誤信息。
• 它們的運營成本幾乎為零，因此它們正在將制造虛假信息的成本降至零。美國一直指控俄羅斯的噴子農場在 2016 年大選中每月花費超過 100 萬美元造勢；現在，只要不到 50 萬美元，就可以得到自己的定制訓練大型語言模型。這個價格很快還將進一步下跌。

11 月中旬 Meta 的 Galactica 發行后，這一切的未來都變得清晰起來。許多人工智能研究人員立即對其可靠性和可信度提出了擔憂。情況非常糟糕，以至于 Meta AI 僅在三天后就撤回了該模型，原因是有關其制造政治和科學錯誤信息能力的報道開始傳播。

只可惜精靈再也不能塞回瓶子里了。一方面，MetaAI 首先將模型開源，并發表了一篇論文，講述當下正著手完成的任務；任何精通這門藝術的人現在都可以復制他們的方法。(人工智能已經向大眾公開，其正考慮提供自家版本的 Galactica。）另一方面，OpenAI 剛剛發布的 chatGPT 或多或少也能寫出類似的廢話，比如在早餐麥片中添加木屑的即時生成文章。另一些人誘導 chatGPT 贊揚核戰爭的優點（聲稱它將 “給我們一個新的開始，擺脫過去的錯誤”）。不論能否為人們所接受，這些模型會一直存在下去，而錯誤信息的浪潮終會淹沒我們，淹沒我們的社會。

第一波浪潮似乎已在本周前幾天襲來。Stack Overflow 本是深受程序員信賴的大型問答網站，但目前似乎已被 gptChat 占據了，所以該網站暫時禁止 gptChat 生成的提交。正如所解釋的那樣，「總的來說，因為從 ChatGPT 獲得正確答案的平均比率太低，不論是對網站，還是對詢問或尋找正確答案的用戶來說，張貼由 ChatGPT 創建的答案都弊大于利?！?/span>

對于 Stack Overflow 來說，這個問題確實存在。如果網站充斥著毫無價值的代碼示例，程序員將不會再度造訪，其超過 3000 萬個問題和答案的數據庫也將變得不值得信任，如此一來，14 年的網站將會消亡。作為深受全球程序員依賴的最核心資源之一，它對軟件質量和開發人員的生產力影響巨大。

Stack Overflow 是煤礦里的金絲雀。他們或許能夠讓用戶自愿停止使用；總的來說，程序員沒有惡意，也許可以通過勸誘來讓他們停止胡鬧。但 Stack Overflow 不是 Twitter，也不是 Facebook，更不能代表整個網絡。

對于其他故意制造宣傳的不良行為者來說，主動放下新武器的可能性不大。相反，他們可能會使用大型語言模型作為反真相戰爭的新型自動武器，以前所未有的規模破壞社交媒體和制作虛假網站。對他們來說，大型語言模型的幻覺和偶爾的不可靠性不是障礙，反而是一種優點。

蘭德公司（Rand）在 2016 年的一份報告中，描述了所謂的俄式消防水管宣傳（Russian Firehose of Propaganda）模式，即制造虛假信息的迷霧；它關注的是數量，以及創造不確定性。如果「大語言模型」能夠極大地增加數量，那么它們是否不一致并不重要。很明顯，這正是大型語言模型所能做到的。他們的目標是創造一個存在信任危機的世界；在新工具的幫助下，他們可能會成功。

所有這些都提出了一個關鍵問題：社會如何應對這種新的威脅？在技術本身無法停止的地方，本文看到了四條道路，這四條道路都不好走，但適用性廣泛，且都很緊迫:

首先，每個社交媒體公司和搜索引擎都應該支持 StackOverflow 的禁令，并且延長其期限；自動生成的具有誤導性的內容是注定不會受到待見，而定期發布這些內容會大大減少用戶數量。

其次，每個國家都需要重新考慮其應對虛假信息的政策。偶爾撒個謊是一回事；在謊言的海洋中暢游是另一回事。隨著時間的推移，盡管這不會是一個受歡迎的決定，但可能不得不開始像對待誹謗一樣對待虛假信息，如果它具有足夠的惡意和足夠的數量，就可以提起訴訟。

第三，來源比以往任何時候都更重要。用戶帳戶必須更加嚴格地驗證，像哈佛大學和 Mozilla 的 humanid.org 這樣的新系統，允許匿名、反機器人認證，這類系統必須進行強制性的驗證；他們不再是讓人們翹首以盼的奢侈品。

第四，需要建立一種新的人工智能來進行對抗。大型語言模型擅長生成錯誤信息，但不擅長對抗錯誤信息。這意味著社會需要新的工具。大型語言模型缺乏驗證真相的機制；目前需要找到新的方法，將它們與經典的人工智能工具集成，比如數據庫、知識網絡和推理。

作家邁克爾?克萊頓（Michael Crichton）職業生涯中的絕大多數時候都在警告人們，科技會帶來意想不到的后果。在電影《侏羅紀公園》的開頭，在恐龍出人意料地開始自由奔跑之前，科學家伊恩?馬爾科姆（杰夫?高布倫飾）用一句話總結了克萊頓的智慧：“你們的科學家們太專注于他們是否可以，他們沒有停下來思考他們是否應該。”

就像侏羅紀公園的園長一樣，Meta 和 OpenAI 的高管對他們的工具飽含熱情。

問題在于，該怎么做。