?我們無法完全正確地指定目標，也無法預測或預防追求錯誤目標的超能力機器在全球范圍內會造成的傷害。我們已經看到了一些例子，比如社交媒體算法利用人們的偏好來優化點擊量，這給民主體制帶來了災難性的后果。

尼克?博斯特羅姆（Nick Bostrom）在2014年出版的《超級智能：路徑、危險與策略》（Superintelligence: Paths, Danger, Strategies）一書中詳細闡述了嚴肅對待風險的主張。《經濟學人》（The Economist）雜志對這本書進行了評論，評論最后寫道：“在地球上引入第二個智能物種影響深遠，值得我們深思。”

當然，在利害攸關的情況下，智者們已經在苦思冥想了：參與嚴肅的辯論、權衡利弊、尋求解決方案、找出解決方案的漏洞等。據我所知，這些工作收效甚微，而且遭到了各種否認。

一些著名的人工智能研究人員的論據幾乎不值一駁。我在文章中看到或在會議上聽到了不下幾十種說法，以下是其中的一部分：

電子計算器在算術方面無人能敵，而計算器并沒有占領世界；因此，沒有理由擔心超人類人工智能。

歷史上沒有發生過機器殺死數百萬人的例子，有鑒于此，這種情況未來也不會發生。

宇宙中沒有無限大的物理量，智力也不例外，所以無須過度擔憂超級智能。

或許人工智能研究人員最常見的回答是：“我們可以關掉它。”阿蘭?圖靈自己也提出了這種可能性，但他并不太自信：

如果機器可以思考，它可能會比我們思考得更全面，那么我們會處在什么位置？即使可以讓機器屈從于我們，例如在關鍵時刻關閉電源，但我們作為一個物種，也應該感到自愧不如……這種新的危險……一定會讓我們倍感焦慮。

關掉機器是行不通的，原因很簡單，超級智能實體一定會考慮到這種可能性，會采取措施來阻止。它會這么做不是因為它“想要生存”，而是因為它在追求我們給它設定的目標，并且知道如果被關掉，它就會失敗。我們不能簡單地“關掉它”，就像我們不能僅憑將棋子放在相應的棋盤格上就打敗阿爾法圍棋一樣。

其他形式的否認則引發了更復雜的觀點，比如智力是多方面的。例如，一個人的空間智力可能高于其他人，但社交智力則不及后者，所以我們不能按照嚴格的智力順序來排列所有人。對機器來說更是如此：將阿爾法圍棋的“智力”與谷歌搜索引擎的“智力”進行比較毫無意義。

《連線》雜志的創始主編、極富洞察力的技術評論員凱文?凱利（Kevin Kelly）將這一觀點又向前推進了一步。他在《超人類人工智能神話》（The Myth of a Superhuman AI）一書中寫道：“智力不是一個單一的維度，所以‘比人類更聰明’是一個毫無意義的概念。”關于超級智能的憂慮被一竿子打翻了。

現在，有一個很明顯的答案，機器可能在所有相關智力的維度上超越人類。在這種情況下，即便按照凱利的嚴格標準，機器人也會比人類聰明。不過這個相當有力的假設并不是反駁凱利的論點的必要條件。

以黑猩猩為例。黑猩猩的短期記憶可能優于人類，即使是人類擅長的任務，比如回憶數字序列也是如此。短期記憶是智力的一個重要維度。按照凱利的論點，人類并不比黑猩猩聰明，事實上，他會說“比黑猩猩聰明”是一個毫無意義的概念。

對僅僅因為人的寬容而存活下來的黑猩猩和其他物種，以及所有人類已經摧毀的物種而言，這可不是什么安慰。同樣，對于可能擔心被機器消滅的人來說，這也算不上安慰。

有人認為超級智能無法實現，因此超級智能的風險也就不復存在。這些說法并不新鮮，但現在人工智能研究人員自己都說這種人工智能不可能實現，著實令人驚訝。例如，AI100組織的重要報告《2030年的人工智能與生活》（Artificial Intelligence and Life in 2030）稱：“與電影場景不同，未來現實中不會也不可能出現超人類機器人。”

據我所知，這是第一次有嚴肅的人工智能研究人員公開表示不可能出現人類級或超人類人工智能，而且這發生在人工智能研究飛速發展的時期，這期間一個又一個障礙被打破。這就好比是一群頂尖的癌癥生物學家宣布他們一直在愚弄我們：他們一直都知道永遠都不會有治愈癌癥的方法。

是什么促成了這種重大轉變？報告中沒有提供任何論據或證據。（事實上，有什么證據能夠證明，物理上不可能存在比人類大腦更優的原子排列呢？）我認為主要原因在于部落主義——這是一種對抗可能對人工智能構成“攻擊”的事物的本能，然而，將超級智能的人工智能視為可能對人工智能構成攻擊的事物似乎有些奇怪，用人工智能永遠不會實現其目標來為人工智能辯護更顯得荒謬。我們不能靠打賭斷定人類的創造力有限來確保未來的災難不會發生。

嚴格來說，超人類人工智能不是沒有可能，那我們是否無須過早擔心它的風險？計算機科學家吳恩達認為，這就像是在擔心“火星上人口過剩”。不過，長期風險仍然會引起人們的關注。何時擔憂有關人類的潛在嚴重問題，不僅取決于問題發生的時間，還取決于準備和實施解決方案需要多長時間。

例如，要探測一顆將于2069年與地球相撞的小行星，我們會等到2068年才開始研究解決方案嗎？當然不是！人類將設立全球性的緊急項目來尋找應對威脅的方法，因為我們無法提前獲知我們需要多少時間。

吳恩達的觀點也讓人感覺我們根本不可能把數十億人轉移到火星上去。這個類比是錯誤的。我們投入了大量的科學和技術資源來創造更強大的人工智能系統，卻很少考慮成功之后會發生什么。我們可以做一個更恰當的類比：計劃把人類遷移到火星，而不考慮到達后的呼吸、飲食問題。有些人可能會認為這個計劃不明智。

另一種回避潛在問題的方法是斷言人們對風險的擔憂源于無知。例如，艾倫人工智能研究所的首席執行官奧倫?艾奇奧尼（Oren Etzioni）指責呼吁人們認清人工智能潛在威脅的埃隆?馬斯克和斯蒂芬?霍金是盧德主義（對新技術和新事物的盲目沖動反抗）者：

每一項新興技術創新都將人們置于恐懼中。從工業時代初期織工把鞋子扔進紡織機，到今天對機器人殺手的畏怯，我們不知道新技術會對自我意識和生計產生什么影響。當我們一無所知，便會心生恐慌。

即使從表面上理解這個經典的謬誤論證，它也站不住腳。霍金對科學推理并不陌生，馬斯克監督并投資了多個人工智能研究項目。如果認為提出擔憂的比爾?蓋茨、I.J.古德（I.J. Good）、馬文?明斯基、阿蘭?圖靈和諾伯特?維納（Norbert Wiener）都沒有資格討論人工智能，那就更不可信了。

指責盧德主義也是完全錯誤的。這就好比當核工程師指出有必要控制裂變反應時，有人指責核工程師是盧德主義者。也就是說，提及人工智能的風險就意味著否認人工智能的潛在利益。再以奧倫?艾奇奧尼為例：

悲觀預測往往沒有考慮到人工智能在預防醫療事故、減少車禍等方面的潛在優勢。

近期，臉譜網首席執行官馬克?扎克伯格與埃隆?馬斯克進行了媒體交流：

反對人工智能就是在反對不會發生事故的更安全的汽車，反對更準確的患者病情診斷。

任何提及風險的人都是在“反對人工智能”，這種觀念很離奇。（核安全工程師“反對電”嗎？）更重要的是，整個論點恰恰是逆向的，原因有二。首先，如果沒有潛在利益，就沒有人工智能研究的動力和人類級人工智能帶來的危險，我們也就不會進行相關探討。其次，如果不能成功降低風險，就不會有任何利益。

1979年三里島、1986年切爾諾貝利和2011年日本福島發生的災難性事件大大降低了核能的潛在利益。這些核災難嚴重限制了核工業的發展。意大利于1990年放棄了核能，比利時、德國、西班牙和瑞士已經宣布放棄核能計劃。從1991年到2010年，每年新增的核電凈容量大約是切爾諾貝利事故前幾年的1/10。

奇怪的是，有這些事件作為前車之鑒，著名的認知科學家史蒂文?平克（Steven Pinker）依然認為，不應呼吁人們關注人工智能的風險，因為“先進社會的安全文化”將確保消除所有重大的人工智能風險。即便無視我們先進的安全文化導致的切爾諾貝利核事故、福島核事故和全球變暖失控，平克的論點也完全沒有說到重點。發揮作用的安全文化包括指出潛在的失效模式和尋找方法來進行預防，而人工智能的標準模型即是失效模式。

平克還認為，有問題的人工智能行為源于設定特定類型的目標；如果不考慮這些，就不會有任何問題：

人工智能反烏托邦項目將狹隘的大男子主義心理投射到了智力的概念上。他們認為，具有超人類智力的機器人會制定一些目標，比如推翻它們的主人，或者征服世界。

深度學習先驅、臉譜網人工智能研究主管揚?勒丘恩（Yann LeCun）在淡化人工智能風險時，經常引用同樣的觀點：

我們無須讓人工智能擁有自我保護本能、嫉妒心理等……人工智能不會產生破壞性的“情緒”，除非我們將這些情緒融入其中。

那些認為這種風險可以忽略不計的人，沒有解釋為何超級人工智能必須處于人類控制之下。

實際上，不管我們是否植入“情感”或“欲望”（比如自我保護、資源獲取、知識發掘，或者極端情況下的統治世界）都全然無關緊要。機器無論如何都會產生這些情感，就像我們所構建目標的子目標一樣——不管它是什么性別。正如“關掉機器”的觀點所揭示的，對于一臺機器來說，生命終止本身并不是壞事。盡管如此，還是要避免生命終止，因為一旦終止，它們便很難達到目標。

“避免設定目標”觀點的一個常見變體是：足夠智能的系統必然會憑借其智力而自行制定“正確”的目標。18世紀的哲學家大衛?休謨在《人性論》中駁斥了這一觀點。尼克?博斯特羅姆在《超級智能》（Superintelligence）一書中將休謨的觀點視為正交命題：

智力和最終目標呈正交關系：任何水平的智力都可以或多或少地與任何最終目標相結合。

例如，無人駕駛汽車的目的地可以是任何指定的地點；讓汽車更好地自動駕駛，并不意味著它會自動拒絕前往需要既定數學計算的地址。

同樣，不難想象，通用智能系統可以或多或少地被賦予目標，包括最大化回形針的數量或已知圓周率的數位。這就是強化學習系統和其他獎勵優化器的工作原理：算法是完全通用的，可以接受任何獎勵信號。對于在標準模型中工作的工程師和計算機科學家來說，正交命題只是一個給定命題。

著名機器人專家羅德尼?布魯斯克（Rodney Brooks）明確批判了博斯特羅姆的正交命題，他斷言，一個程序“不可能聰明到發明出顛覆人類社會的方法來實現人類為之設定的目標，卻不了解它是如何給人類造成困擾的”。

不過，鑒于布魯斯克對這個問題的定義，這樣的程序不僅是可能存在的，實際上更是不可避免的。布魯斯克認為，機器“實現人類設定目標”的最佳方案正在給人類帶來問題。由此可見，這些問題反映了人類在制定目標時忽略了對人類有價值的東西。由機器執行的最佳方案很可能會給人類造成困擾，而機器也很可能意識到了這一點，但是，機器顯然不會認為這些問題是有問題的，這不關它們的事。

總而言之，那些認為人工智能帶來的風險微乎其微的“懷疑論者”并未解釋為什么超級人工智能系統必須處于人類控制之下；他們甚至沒有試圖解釋為什么超級人工智能系統永遠不會被開發出來。

人工智能領域必須承擔風險，并盡力降低風險，而不是繼續陷入對立中傷和反復挖掘不可信的論點。就我們所知，這些風險既非渺小，也非不可逾越。第一步就是認識到必須替換標準模型，改變人工智能系統優化一個固定目標的模式。這是一項糟糕的工程。我們需要做大量的工作來重塑和再構人工智能的基礎。?