計算的能力是有極限的，但因此，人類無法控制超級人工智能。

[[379749]]

近日，一項新的研究發(fā)現(xiàn)，從理論上來看，人類不可能控制超級人工智能。更為糟糕的是，這項研究也明確了人類無法在這種 AI 生成之時發(fā)現(xiàn)它。

讓人稍稍感到安慰的是，根據(jù)不止一項預(yù)測，任何通用超級計算機(jī)超越人類的時間都會在數(shù)十年以后。

最近幾年，人工智能在國際象棋、圍棋、德州撲克、Jeopardy 等游戲上超越了人類，在 Dota2、星際爭霸游戲中和頂級玩家打得有來有回，時不時會引起一小陣恐慌，有人擔(dān)心超越人類的機(jī)器智能會在某一天讓人們無所適從。「有關(guān)超級智能是否接受人類控制的問題其實(shí)很古老，」西班牙馬德里自治大學(xué)計算機(jī)科學(xué)家 Manuel Alfonseca 說道，「這還得追溯到 20 世紀(jì) 40 年代的阿西莫夫的機(jī)器人三定律。」

與超級人工智能展開任何形式的交流都是有風(fēng)險的。

人們耳熟能詳?shù)臋C(jī)器人三定律，首先在科幻小說家伊薩克 · 阿西莫夫在 1942 年的短篇小說集《我，機(jī)器人》中被提出，規(guī)則如下：

機(jī)器人不得傷害人類，或坐視人類受到傷害；

機(jī)器人必須服從人類命令，除非命令與第一法則發(fā)生沖突；

在不違背第一或第二法則之下，機(jī)器人可以保護(hù)自己。

在 1985 年《機(jī)器人與帝國》書中，阿西莫夫?qū)⑷蠓▌t擴(kuò)張為四大法則：加入第零法則——機(jī)器人不得傷害整體人類，或坐視整體人類受到傷害。

2014 年，牛津大學(xué)人類未來研究所（Future of Humanity Institute ）主任、哲學(xué)家 Nick Bostrom 不僅探索了超級人工智能破壞人類的方式，還研究了針對這類機(jī)器可能的控制策略以及它們無法奏效的原因。

[[379750]]

Nick Bostrom。

Bostrom 列舉了這一「控制問題」的兩種可能解決方案。一種是控制 AI 能做的事情，如阻止 AI 連接互聯(lián)網(wǎng)；另一種是控制 AI 想做的事情，如教授 AI 規(guī)則和價值觀，使其秉持人類利益最大的原則行動。Bostrom 認(rèn)為，第一種解決方案存在的問題是超級智能機(jī)器可能掙脫任何人類施加給它的限制；第二種解決方案則擔(dān)心人類可能沒有能力訓(xùn)練出超級人工智能。

計算固有的限制可能導(dǎo)致人類無法控制超級人工智能

在本月初發(fā)表在 AI 領(lǐng)域頂級期刊《人工智能研究雜志》（JAIR）上的一篇文章中，馬德里自治大學(xué)、馬克斯 - 普朗克人類發(fā)展研究所等機(jī)構(gòu)的研究者認(rèn)為，由于計算本身固有的基本限制，人類可能無法控制超級人工智能。

他們表示，任何旨在確保超級人工智能無法傷害人類的算法都必須首先模擬機(jī)器行為以預(yù)測其行動的潛在后果。如果超級智能機(jī)器確實(shí)可能造成傷害，那么此類抑制算法（containment algorithm）需要停止機(jī)器的運(yùn)行。

然而，科學(xué)家們認(rèn)為，任何抑制算法都不可能模擬 AI 的行為，也就無法百分之百地預(yù)測 AI 的行為是否會造成傷害。抑制算法可能無法正確模擬 AI 的行為或準(zhǔn)確預(yù)測 AI 行動的后果，也就無法分辨出這些失敗。

論文地址：https://jair.org/index.php/jair/article/view/12202/26642

「阿西莫夫給出的第一定律實(shí)際上已被證明是無法計算的，」Alfonseca 說道，「因而根本無法實(shí)現(xiàn)。」

我們甚至連自己是否已經(jīng)創(chuàng)造了超級智能機(jī)器都不知道——這是可計算理論中萊斯定理的一個推論，該定理指出遞歸可枚舉語言的所有非平凡（nontrival）性質(zhì)都是不可判定的。從本質(zhì)上來說，我們不能僅通過觀察程序本身，就知道程序可能會輸出什么。

當(dāng)然另一方面，我們還不需要為將來的機(jī)器人主宰提前做好服侍的準(zhǔn)備。在該研究中，有三個重要問題給該論文的推論帶來了不確定性。

首先，Alfonseca 預(yù)計強(qiáng)人工智能的關(guān)鍵時刻還很遙遠(yuǎn)，他說道：「至少還有兩個世紀(jì)。」

其次，人們所說的通用人工智能，或強(qiáng)人工智能在理論上是否可行，其實(shí)也是未知數(shù)。「這是指能像人類一樣能夠處理多個領(lǐng)域任務(wù)的機(jī)器。」

最后，Alfonseca 說道：「我們還沒有證明超級人工智能永遠(yuǎn)無法控制，我只是說它們不能被永遠(yuǎn)控制。」

計算復(fù)雜性是阻止人類控制強(qiáng)人工智能的重要原因。

盡管我們可能無法控制一個強(qiáng)人工智能體，但控制一個超越人類水平的狹義 AI 是可行的——我們可以放心地依賴一些專注于某些功能，而非像人類一樣可以執(zhí)行多種任務(wù)的機(jī)器人。「我們已經(jīng)擁有這種超級智能，」Alfonseca 說道。「例如我們擁有可以比人類速度快很多的計算機(jī)器。這也是一種狹義的超級智能。」