2022年底OpenAI推出ChatGPT，其爆火程度一直持續到今天，這個模型簡直就是行走的流量，所到之處必將引起一番討論狂潮。

各大科技公司、機構、甚至是個人，紛紛加緊研發類ChatGPT產品。與此同時，微軟將ChatGPT接入必應，幾乎前后腳，谷歌發布Bard為搜索引擎提供動力。英偉達 CEO 黃仁勛對ChatGPT給與了一個很高的評價，他表示，ChatGPT 是人工智能領域的 iPhone 時刻，也是計算領域有史以來最偉大的技術之一。

很多人對對話式AI已經到來深信不疑，但這類模型真的完美無缺嗎？不見得，在它們身上總會出現一些荒誕的時刻（uncanny moments），例如隨意發表不受約束的言論，或者喋喋不休地說出接管世界的計劃等。

為了理解對話式AI這些荒誕時刻，由深度學習三巨頭之一的Yann LeCun以及紐約大學計算機科學系博士后Jacob Browning等人聯合撰寫了一篇文章《AI Chatbots Don’t Care About Your Social Norms》，文中討論了對話式AI的三個方面：聊天機器人、社會規范和人類期望。

文中談到，人類非常善于避免口誤，不讓自己做出失誤和失禮的言行。相比之下，聊天機器人卻經常犯錯。因此理解為什么人類擅長避免出錯，可以更好的幫助我們理解目前聊天機器人為何不能被信任。

聊天機器人加入人類反饋，不讓模型說錯話

對于GPT-3來說，犯錯的方式包括模型統計不準確。GPT-3比較依賴用戶提示，它對語境、情境等的理解只關注從用戶的提示中可以得到什么。ChatGPT也是如此，不過后者以一種新穎而有趣的方式稍作修改。除了統計學外，模型的反應也被人類評估員強化了。對于系統的輸出，人類評估員會進行強化，使其輸出好的反應。最終結果是，這個系統不僅會說一些貌似合理的東西，而且（理想情況下）還會說一些人類會判斷為合適的東西——即便是模型說錯了話，至少不會冒犯別人。

但這種方法給人的感覺太機械性。在人類對話中，有無數種方法可以說錯話：我們可以說一些不恰當的、不誠實的、令人困惑的或者只是愚蠢的事情。我們甚至在說正確的事情時，由于說的語氣或語調不對而受到指責。我們在與他人打交道的過程中，會穿越無數的「對話雷區」?？刂谱约翰徽f錯話不僅僅是對話的一個重要部分，它往往比對話本身更重要。有時，閉上嘴巴可能是唯一正確的行動方案。

這就引出兩個問題：我們該如何駕馭模型這種不說錯話的危險局面？以及為什么聊天機器人不能有效地控制自己不說錯話？

對話該如何進行？

人類對話可以涉及任意話題，就像腳本化了一樣：餐館點餐，閑聊，為遲到道歉等等。不過這些不是文字腳本，中間充滿了即興創作，所以人類的這種對話模型才是更一般的模式，規則沒有那么嚴格。

人類這種腳本化的言行不受文字制約。即使你不懂語言，同樣的腳本也能發揮作用，比如打一個手勢就知道對方想要什么。社會規范支配著這些腳本，幫助我們駕馭生活。這些規范規定了每個人在某些情況下的行為方式，為每個人分配了角色，并對如何行動給予了廣泛的指導。遵循規范是有用的：它通過標準化和流程化來簡化我們的交互，使彼此能更容易預測對方意圖。

人類已經制定了慣例和規范來管理我們社會生活的每個方面，從使用什么叉子到在按喇叭之前應該等待多長時間。這對于在數十億人的世界中生存至關重要，在這個世界上，我們遇到的大多數人都是完全陌生的人，他們的信仰可能與我們不一致。將這些共同的規范落實到位不僅可以使對話成為可能，而且會富有成果，列出我們應該談論的內容——以及我們不應該談論的所有事情。

規范的另一面

人類傾向于制裁那些違反規范的人，有時會公開，有時會秘密進行。社會規范使得評估一個陌生人變得非常簡單，例如，在第一次約會時，通過對話以及提問等方式，雙方會評估對方的行為，如果對方違反了其中一條規范——例如，如果他們表現得粗魯或不恰當——我們通常會評判他們并拒絕第二次約會。

對人類來說，這些評判不僅是基于冷靜的分析，更進一步的是基于我們對世界的情感反應。我們小時候接受的部分教育是情緒訓練，以確保我們在對話中在正確的時間給出正確的情緒：當有人違反禮儀規范時感到憤怒，當有人說出冒犯性的話時感到厭惡，當我們說謊時感到羞恥。我們的道德良知使我們能夠在對話中對任何不恰當的事情做出快速反應，并預測其他人將如何對我們的言論做出反應。

但不僅如此，一個違反了簡單規范的人，他的整個性格都會遭到質疑。如果他在一件事情上撒了謊，那么會不會在其他事情上撒謊呢？因此，公開是為了讓對方感到羞恥，并在此過程中迫使對方為自己的行為道歉（或至少為自身行為辯護）。規范也得到了加強。

簡而言之，人類應該嚴格遵守社會規范，否則說出的話有很高的風險。我們要為自己所說的任何事情負責，所以要謹慎地選擇說話，并希望周圍的人也是如此。

不受約束的聊天機器人

人類對話的高風險揭示了什么讓聊天機器人如此令人不安。通過僅僅預測對話如何進行，它們最終松散地遵守人類的規范，但它們不受這些規范的約束。當我們與聊天機器人隨意交談或測試它們解決語言難題的能力時，它們通常會給出一些似是而非的答案，并表現得像人類一樣正常。有人甚至可能會將聊天機器人誤認為是人。

但是，如果我們稍微更改prompt或者使用不同的腳本，聊天機器人會突然吐出陰謀論、種族主義長篇大論或胡說八道。這可能是因為它們接受了陰謀論者、噴子等在 Reddit和其他平臺寫的內容的訓練。

我們中的任何人都有可能說出像噴子一樣的話，但我們不應該說，因為噴子的話充斥著胡說八道、冒犯性言論、殘忍和不誠實。我們中的大多數人不說這些話，也是因為自己不相信它們。體面的規范已經將冒犯性行為推向了社會邊緣，所以我們中的大多數人也不敢這樣的話。

相比之下，聊天機器人不會意識到有些話是它們不應該說的，無論這些話在統計學上的可能性有多大。它們意識不到定義了該說和不該說之間界限的社會規范，也察覺不到影響我們使用語言的深層社會壓力。即使聊天機器人承認搞砸并道歉了，它們也不明白為什么。如果我們指出它們錯了，聊天機器人甚至會道歉以得到正確的答案。

這闡明了更深層次的問題：我們希望人類說話者能夠忠實于他們所說的話，并且要求他們對此負責。我們不需要檢查他們的大腦或了解任何心理學來做到這一點，只需要知道他們一貫可靠、遵守規范和行為上尊重他人，則會相信他們。聊天機器人的問題不在于「黑盒子」或技術不熟悉，而是因為長期以來不可靠和令人反感，并且沒有努力改進甚至沒有意識到存在問題。

開發人員當然知道這些問題。他們以及希望自身AI技術被廣泛應用的公司擔心自己的聊天機器人的聲譽，并花大量時間重組系統以避免對話困難或消除不當回答。雖然這有助于使聊天機器人更安全，但開發人員需要竭力走到試圖破壞它們的人的前面。因此，開發人員的方法是被動的，并且總是落后：有太多的錯誤方式無法預測到。

聰明但不人性化

這不應該讓我們自鳴得意人類有多聰明，聊天機器人有多笨。相反，它們無所不談的能力展現出了對人類社會生活和整個世界的深刻（或膚淺）的了解。聊天機器人非常聰明，至少能在測試中取得好成績或提供有用的信息參考。聊天機器人在教育工作者中引起的恐慌足以說明它們在書本知識學習上令人印象深刻。

但問題在于聊天機器人不在乎（care）。它們沒有任何想要通過對話實現的內在目標，也不受他人想法或反應的激勵。它們不會因說謊感到難過，它們的誠實也不會得到回報。它們在某種程度是無恥的，甚至川普都非常關心自己的聲譽，至少聲稱自己是誠實的。

因此，聊天機器人的對話是無意義的。對于人類來說，對話是獲得我們想要的東西的一種方式，比如建立聯系、在項目上獲得幫助、打發時間或者了解一些東西。對話要求我們對對話的人感興趣，理想情況下應該要關心對方。

即使我們不關心對話的人，至少在乎對方對自己的看法。我們深深地認識到，生活中的成功（比如擁有親密關系、做好工作等）取決于擁有好的聲譽。如果我們的社會地位下降，就可能失去一切。對話塑造了他人對我們的看法，并且很多人通過內心獨白來塑造對自己的認知。

但是聊天機器人沒有自己的故事可以講述，也沒有聲譽可以捍衛，它們不像我們一樣能感受到負責任行動的吸引力。聊天機器人可以并且在很多高度腳本化的情況下發揮作用，從玩地下城主、撰寫合理的副本或者幫助作者探索思路，等等。不過它們缺乏對自己或他人的了解，無法成為值得信賴的社會代理人，即我們大多數時候希望與之交談的那類人。

如果不了解有關誠實和體面的規范，也不關心自己的聲譽，那么聊天機器人的用處就會受限，依賴它們也會帶來真正的危險。

怪誕的對話

因此，聊天機器人并不是以人類的方式對話，并且它們永遠不可能僅通過統計學上似乎可信的談話達到目的。如果缺少對社會世界的真正了解，這些AI系統就只是無聊的話癆罷了，無論表現得多么機智或雄辯。

這有助于闡明為什么這些AI系統只是非常有趣的工具以及為什么人類不應該將它們擬人化。人類不僅僅是冷靜的思考者或演說者，在本質上還是遵守規范的生物，通過共同的、強制性的期望在情感上相互建立聯系。人類的思維和言語源于自身的社會性。

單純的對話脫離了廣泛的世界參與，與人類沒有什么共同之處。聊天機器人不是像我們一樣使用語言，即使它們有時說的與我們完全相同?？蓺w根到底，它們不懂我們為什么這樣說話，這是顯而易見的。