現階段，人工智能的發展速度已經超出了人們最初的預想，用 AI 工具寫文章、編代碼、生成圖片、甚至是生成一段電影級別的視頻…… 這些在以前看似非常艱難的任務，現在只需用戶輸入一句提示就可以了。

我們在感嘆 AI 帶來驚艷效果的同時，也應該警惕其帶來的潛在威脅。在此之前，很多知名學者以帶頭簽署公開信的方式應對 AI 帶來的挑戰。

現在，AI 領域又一封重磅公開信出現了。上周在頤和園召開的「北京AI國際安全對話」，為中國和國際AI安全合作首次搭建了一個獨特平臺。這次會議由智源研究院發起，圖靈獎得主Yoshua Bengio和智源學術顧問委員會主任張宏江擔任共同主席，Geoffrey Hinton、Stuart Russell 、姚期智等三十余位中外技術專家、企業負責人開展了一次關于 AI Safety 的閉門討論。這次會議達成了一項 Bengio、Hinton 與國內專家共同簽名的《北京 AI 安全國際共識》。

目前，確認會署名的專家包括（國外部分可能會略有增加；國內專家以個人形式署名，并不代表他們所在的機構）：

• Yoshua Bengio 
• Geoffrey Hinton 
• Stuart Russell 
• Robert Trager 
• Toby Ord 
• Dawn Song
• Gillian Hadfield 
• Jade Leung 
• Max Tegmark 
• Lam Kwok Yan 
• Davidad Dalrymple 
• Dylan Hadfield-Menell 
• 姚期智 
• 傅瑩 
• 張宏江 
• 張亞勤
• 薛瀾 
• 黃鐵軍 
• 王仲遠 
• 楊耀東 
• 曾毅 
• 李航
• 張鵬
• 田溯寧
• 田天

以下為達成的共識內容：

一、人工智能風險紅線 

人工智能系統不安全的開發、部署或使用，在我們的有生之年就可能給人類帶來災難性甚至生存性風險。隨著數字智能接近甚至超越人類智能，由誤用和失控所帶來的風險將大幅增加。

在過去冷戰最激烈的時候，國際學術界與政府間的合作幫助避免了熱核災難。面對前所未有的技術，人類需要再次合作以避免其可能帶來的災難的發生。在這份共識聲明中，我們提出了幾條人工智能發展作為一種國際協作機制的具體紅線，包括但不限于下列問題。在未來的國際對話中， 面對快速發展的人工智能技術及其廣泛的社會影響，我們將繼續完善對這些問題的探討。 

自主復制或改進 

任何人工智能系統都不應能夠在人類沒有明確批準和協助的情況下復制或改進自身。這包括制作自身的精確副本以及創造具有相似或更高能力的新人工智能系統。

權力尋求 

任何人工智能系統都不能采取不當地增加其權力和影響力的行動。 

協助不良行為者 

所有人工智能系統都不應提升其使用者的能力使之能夠達到設計大規模殺傷性武器、違反生物或化學武器公約、或執行導致嚴重財務損失或同等傷害的網絡攻擊的領域專家的水平。 

欺騙 

任何人工智能系統都不能有持續引致其設計者或監管者誤解其僭越任何前述紅線的可能性或能力。 

二、路線 

確保這些紅線不被僭越是可能做到的，但需要我們的共同努力：既要建立并改進治理機制，也要研發更多安全技術。 

治理 

我們需要全面的治理機制來確保開發或部署的系統不違反紅線。我們應該立即實施針對超過特定計算或能力閾值的人工智能模型和訓練行為的國家層面的注冊要求。注冊應確保政府能夠了解其境內最先進的人工智能，并具備遏制危險模型分發和運營的手段。 

國家監管機構應幫助制定和采納與全球對齊的要求以避免僭越這些紅線。模型進入全球市場的權限應取決于國內法規是否基于國際審計達到國際標準，并有效防止了違反紅線的系統的開發和部署。 

我們應采取措施防止最危險技術的擴散，同時確保廣泛收獲人工智能技術的價值。為此，我們應建立多邊機構和協議，安全且包容地治理通用人工智能（AGI）發展，并設立執行機制，以確保紅線不被僭越，共同利益得到廣泛分享。 

測量與評估 

在這些紅線被僭越的實質性風險出現之前，我們應開發全面的方法和技術來使這些紅線具體化、防范工作可操作化。為了確保對紅線的檢測能夠跟上快速發展的人工智能，我們應該發展人類監督下的紅隊測試和自動化模型評估。 

開發者有責任通過嚴格的評估、數學證明或定量保證來證明符合安全設計的人工智能系統未僭越紅線。 

技術合作 

國際學術界必須共同合作，以應對高級人工智能系統帶來的技術和社會挑戰。我們鼓勵建立更強大的全球技術網絡，通過訪問學者計劃和組織深入的人工智能安全會議和研討會，加速人工智能安全領域的研發和合作。支持這一領域的成長將需要更多資金：我們呼吁人工智能開發者和政府資助者至少將他們人工智能研發預算的三分之一投入到安全領域。 

三、總結 

避免人工智能導致的災難性全球后果需要我們采取果斷的行動。協同合作的技術研究與審慎的國際監管機制的結合可以緩解人工智能帶來的大部分風險，并實現其諸多潛在價值。我們必須繼續堅持并加強國際學術界和政府在安全方面的合作。