智能系統(tǒng)不能決定自己的初始目標，但會根據(jù)經(jīng)驗構(gòu)建自己的派生目標，而其行為是被這些目標共同決定的。在這方面計算機和人類并無本質(zhì)區(qū)別，所以人工智能系統(tǒng)完全可以達到人類水平的自主性。我們應(yīng)當對由此而來的機會和挑戰(zhàn)有所準備，而簡單地斷言“人工智能歸根結(jié)底是實現(xiàn)設(shè)計者目標的工具(所以沒什么新鮮的)”或“人工智能的目標是我們完全無法影響的(所以必定毀滅人類)”都是錯的。

撰文

王培(美國天普大學計算機與信息科學系)

在那些認為人工智能永遠不能達到人類水平的理由中，最常見的一個是“所有智能系統(tǒng)都是設(shè)計者實現(xiàn)自己目標的工具，而機器自身是不可能有任何目標的。只有人能為自己設(shè)定目標。” 我在這里要指出這個斷言是錯誤的。

計算機系統(tǒng)中的目標

每個系統(tǒng)都有“做什么”的問題，也有“怎樣做”的問題。前者是關(guān)于目標或任務(wù)，后者是關(guān)于方法或手段。在傳統(tǒng)計算系統(tǒng)中，二者都是人定的：每個程序都按人指定的方法實現(xiàn)人設(shè)定的目標。比如說你可以調(diào)用一個程序來找到一組數(shù)中的最大值，但計算機只是接受并實現(xiàn)了你給它的目標，而不是自己設(shè)置或選擇了這個目標。

當要達到的目標很大的時候(比如“成為首富”)，一個自然的策略是將其分解成若干小些的目標。如果一個“小目標”仍嫌太大(比如“先掙一個億”)，那就進一步分解，直到目標可以實現(xiàn)為止(比如“從床上爬起來”)。這個目標分解過程在人工智能中叫“反向鏈接”(backward chaining，見參考資料[1])。在反向鏈接過程中生成的目標通常被稱為“子目標”。這些目標盡管是系統(tǒng)生成的，但不能說是系統(tǒng)為自己設(shè)定的，因為“子目標”是循給定的程序?qū)⑼饨缭O(shè)定的“總目標”分解而得，所以它們的存在價值和意義也完全是為該“總目標”的實現(xiàn)做貢獻。

即使是目前火爆的機器學習，也只是從大量數(shù)據(jù)中總結(jié)實現(xiàn)給定目標的方法，而目標本身不是學到的。前不久，AlphaGo的升級版以快棋60戰(zhàn)不敗的記錄橫掃圍棋界，盡管它從來也沒有“自己想要”下圍棋。在AlphaGo中大顯神通的“強化學習”技術(shù)是通過其每個決定所得到的“獎勵分數(shù)”來逐漸學會在各個情境下怎么做得分最高的。這類系統(tǒng)中確定各個情境的獎勵分數(shù)的那個函數(shù)就隱含地確定了系統(tǒng)的目的，而這個函數(shù)不是系統(tǒng)自己設(shè)定的，是設(shè)計者編制在系統(tǒng)中的。

智能和自主性

AlphaGo算是有智能嗎?不同的人會有不同的評價(見《當你談?wù)撊斯ぶ悄軙r，到底在談?wù)撌裁?》)，但我想不少人會和我一樣覺得真正的智能系統(tǒng)必須有自主性，即在“做什么”和 “怎樣做”兩方面都能自己做主。在《計算機能有創(chuàng)造性嗎?》之中，我已經(jīng)解釋了怎樣讓智能系統(tǒng)自己發(fā)現(xiàn)解決某些問題的辦法，而這里要介紹怎樣讓它為自己設(shè)定目標。

我在《你這是什么邏輯?》等專欄文章中已經(jīng)介紹了我設(shè)計的“納思”系統(tǒng)的若干方面。因為納思必須在知識和資源相對不足的條件下工作，其中對目標的處理和傳統(tǒng)系統(tǒng)非常不同(詳見參考資料[2])。作為一個人造系統(tǒng)，納思的“初始目標”自然還是由外部設(shè)定的，但即使在這方面，它和傳統(tǒng)系統(tǒng)也有兩點顯著不同：

(1)實時性：初始目標既可以是由設(shè)計者植入系統(tǒng)的先天結(jié)構(gòu)的(比如“造福人類”)，也可以是用戶在系統(tǒng)運行時隨時輸入的(比如“給我杯茶”)。這些目標都有時間要求(比如“永遠”、“三年內(nèi)”、“今天”、“馬上”、“盡快”)，而且常常在系統(tǒng)仍忙于其它目標時出現(xiàn)。

(2)開放性：只要是目標以系統(tǒng)所能識別的方式表達即可，而對其內(nèi)容并無限制。這就是說諸目標可以是直接或間接相互沖突的(比如一個用戶說“開門”而另一個說“關(guān)門”)，或超出系統(tǒng)的現(xiàn)有知識范圍(比如“實現(xiàn)世界和平”)。

由于智能系統(tǒng)不是神仙，上述特征的一個必然后果就是納思不能保證實現(xiàn)給它設(shè)定的所有目標。當然，它不總是簡單地說“我做不到”，而是盡可能最大限度地實現(xiàn)它們。一般情況下，系統(tǒng)不是一個接一個地實現(xiàn)其諸多目標，而是同時考慮它們。每個初始目標有個“優(yōu)先度”，以便系統(tǒng)權(quán)衡輕重緩急，并在目標間有沖突時決定傾向哪方。

除去在非常簡單的情況下，一個智能系統(tǒng)中的絕大多數(shù)目標都是不能直接一步就實現(xiàn)的。不要說“造福人類”或“掙一個億”，就是“送杯茶”也需要分成若干步驟，各有其具體目標。納思能夠根據(jù)其知識通過推理生成“派生目標”。比如說如果它相信創(chuàng)辦一家人工智能公司就能掙一個億，那么它就有理由以“創(chuàng)辦一家人工智能公司”作為一個新目標。這和前面提到的“反向鏈接”有相似之處，但有幾個根本差別。首先是要考慮對其它目標的影響。比如說它如果相信人工智能的未來發(fā)展會威脅“實現(xiàn)世界和平”這個目標(這是個有反思精神的AI)，那它就有理由不設(shè)立“創(chuàng)辦人工智能公司”這個新目標，而通過其它途徑去掙一個億(比如炒房地產(chǎn))。因此，在納思中一般不能把一個派生目標看成單一初始目標的子目標，因為它往往和很多初始目標有關(guān)，起碼沒有被它們所否決。其次，即使一個派生目標主要是作為實現(xiàn)某個初始目標的手段被創(chuàng)建的，但由于二者的關(guān)系是基于系統(tǒng)當時的知識，那很有可能被后來的經(jīng)驗所推翻。比如說“創(chuàng)辦人工智能公司”可能最終導(dǎo)致賠錢的結(jié)果，從而和“掙一個億”的期望相悖。我在《證實、證偽、證明、證據(jù)：何以為“證”?》中解釋過，智能系統(tǒng)對未來的預(yù)測是基于過去經(jīng)驗之上的，因此永遠有出錯的可能性。這就意味著一個派生目標的實現(xiàn)可能實際上無助于使其建立的初始目標，甚至可能阻礙后者的實現(xiàn)，但這是系統(tǒng)在生成此目標時不知道或沒想到的。最后，一個派生目標建立后，它與其“本源”目標的聯(lián)系會逐漸淡化，以至于在其本源消失(不論是被滿足還是被放棄)之后仍然可能存在。

綜上所述，納思的目標派生過程同時也開始了一個“手段目的化”的過程。如果初始目標A觸發(fā)了派生目標B的創(chuàng)立，這二者的關(guān)系僅僅是歷史性的，而不是永久性的。系統(tǒng)會把B作為一個獨立的目標來對待，而不是作為A的附庸。當然這里會有一個量上的差別，即B的優(yōu)先度開始時會低于A的優(yōu)先度。如果B后來得到越來越多的其它(A以外的)支持，它可能逐步成長為一個對系統(tǒng)比A更重要的目標，這就是說在決定系統(tǒng)行為時，A未必永遠比B有更高的發(fā)言權(quán)。在納思中對這個派生鏈的長度是沒有限制的，所以如果B又觸發(fā)了C，C觸發(fā)了D，D和A的實際聯(lián)系就可能非常遙遠了，盡管追根尋源是從那里來的。由于派生目標不僅取決于初始目標，而且取決于系統(tǒng)的經(jīng)驗，它們在不同程度上應(yīng)當被看成系統(tǒng)為自己設(shè)定的目標，而一個派生目標離初始目標的“距離”越遠，它的“自主”程度就越高。在上面的例子中，A完全是“外來的”，而B、C、D則一個比一個更有資格被稱為系統(tǒng)“自己的”。有興趣的讀者可以通過我主頁上的鏈接下載一個納思的測試版來驗證這種現(xiàn)象。 

[[183564]] 

(圖片來源：千圖網(wǎng)) 

人的目標來自何處

有些人會反對我上面的結(jié)論，說既然所有派生目標歸根結(jié)底還是源于初始目標，那就不能算是系統(tǒng)自身構(gòu)造的。那就讓我們看看人“自身的”目標是怎么來的。

盡管不少人覺著人有“自由意志”，想干啥就干啥，但心理學家從不認為人的目標是任意的或隨機的，而是致力于發(fā)掘人類動機、驅(qū)力、需求、欲望、目標等的隱秘來源。在這個領(lǐng)域最廣為人知的學者包括弗洛伊德和馬斯洛。弗洛伊德認為人的心理活動的基本驅(qū)動力量是生物性的，如生存和繁殖，而其它動機無非是這些本能欲望的變形或替代。馬斯洛將人的需求劃分為五個層次(從低到高是生理、安全、社交、尊重、自我實現(xiàn))，而高層需求是在低層需求的基礎(chǔ)上發(fā)展出來的。根據(jù)這些理論，人的初始目標也不是自己確定的，而是來自于先天(遺傳因素)。我們能選擇的是它們的派生、導(dǎo)出形式，而這些選擇也必定是在我們的經(jīng)歷和資源約束下的做出的，而非任意的。

心理學家奧爾波特提出了“機能自主”的概念(參考資料[3])，說的就是派生動機在機能上逐漸會擺脫和原始動機的關(guān)系而獲得自主，也就是實現(xiàn)從“手段”向“目的”轉(zhuǎn)化。這樣的例子數(shù)不勝數(shù)。一個小學生開始時的學習目的主要是獲得父母的獎勵，但她后來從求知過程中得到了樂趣，從而不再需要父母的獎勵。一個人工智能公司的創(chuàng)辦人可能滿足于研發(fā)活動帶來的成就感，而不再想他本來辦公司的目的是要掙一個億。在最極端的情況下，一個派生目標甚至會反過來否定初始目標，比如為自由犧牲生命。這可以叫做目標的“異化”。

我這里是把“異化”作為一個中性詞來用的，因為這個現(xiàn)象的后果可好可壞，不管是從個體和群體的角度看都是如此。一方面，把手段當作目的會妨礙原先目標的實現(xiàn)，起碼會分散系統(tǒng)的注意力;另一方面，如果沒有這種異化，那人類所有超出動物性的追求大概都不可能出現(xiàn)(比如說，藝術(shù)有什么用?用畫巖畫的工夫去抓只兔子不是更實惠?)。無論如何，我認為這是真正的智能系統(tǒng)(不論是人還是計算機)中所必然產(chǎn)生的現(xiàn)象。由于知識和資源的不足，這樣的系統(tǒng)不可能保證目標派生關(guān)系的絕對有效性，也無法在決策過程中完整地考慮到這些關(guān)系。

智能系統(tǒng)的目標體系

那些本來就對人工智能心懷警惕的讀者現(xiàn)在會想：如果目標異化不可避免，那人工智能豈不就是必然失控并導(dǎo)致災(zāi)難了嗎?我認為恰恰相反，正是上面描述的這種目標機制使通用人工智能的良性使用成為可能。 

(圖片源于網(wǎng)絡(luò)) 

和主流的人工智能技術(shù)相比，納思在目標處理上的不同點可以總結(jié)為兩個關(guān)鍵詞：“制約”與“演化”。

由于主流人工智能致力于“解決那些以前只有人腦能解決的問題”，大部分系統(tǒng)只接受一個初始目標，而其余目標都是它的子目標。即使那些接受多個初始目標的系統(tǒng)一般也假設(shè)這些目標之間不沖突，且可以逐個實現(xiàn)。這種做法對專用系統(tǒng)來說是合適的，但完全不適應(yīng)通用系統(tǒng)的要求。以AlphaGo為例，其設(shè)計就是以“贏棋”為唯一目標。如果這就是我們想要的，那這個技術(shù)就非常合適。如果我們希望這個系統(tǒng)同時實現(xiàn)其它目標，如“教人學圍棋”、“提高圍棋比賽的觀賞性”、“發(fā)現(xiàn)圍棋之道”、“給人類留點自尊”等等，那么這個技術(shù)就不合適了。

為什么不能把這些目標合成一個“總目標”呢?這在某種意義下是可能的，如納思就有一個關(guān)于目前諸目標的總體滿足程度的測量，可以說是一種簡單化的“幸福感”。但問題是系統(tǒng)的大部分知識都是關(guān)于如何實現(xiàn)各個具體的“小目標”的，而非直接關(guān)系到系統(tǒng)的“總目標”。比如我知道“推門”這個動作一般會實現(xiàn)“開門”這個目標，但不知道這個動作有多大可能性提升我的“幸福感”。因此，目標派生是必須的，而系統(tǒng)要考慮的是一個目標體系，而不是單個目標。就憑這一點，像“強化學習”之類的現(xiàn)有AI技術(shù)就不能被用作通用智能(AGI)的核心技術(shù)。

即使只談安全性，單一目標也有很大問題。在關(guān)于人工智能危險的討論中廣泛流傳的例子包括“如果你要一個超級智能造曲別針，它可能把地球上的所有資源耗盡來干這個”，“如果你要一個超級智能實現(xiàn)世界和平，它會想把人類全滅了就和平了”。由此可見，即使“總目標”有益無害，其后果也可能是災(zāi)難性的。這些例子不無道理，但問題是它們往往被用來論證“人工智能是危險的”，盡管它們實際上展示的是追逐單一總目標的危險性。歷史已經(jīng)反復(fù)展示了不惜一切代價追求某目標所造成的災(zāi)難，不管這個目標本身多么有價值(比如“GDP”、“穩(wěn)定”、“政治正確”等等)。克服這種危險性的辦法不是更精確地制定總目標，而是用一組相互制約的目標引導(dǎo)系統(tǒng)的行為。當我們說“我要這個”的時候，不意味著“我只要這個，別的什么都不要”。

類似的，由于主流人工智能研究著眼于具體應(yīng)用，系統(tǒng)的目標一般應(yīng)當保持不變。但像納思這樣的通用人工智能研究是要搞清“智能”、“認知”、“思維”、“意識”等等到底是怎么回事，因此會注重于系統(tǒng)的適應(yīng)性、靈活性、創(chuàng)造性、自主性等特征，這些都需要目標體系隨系統(tǒng)的經(jīng)驗而演化。請注意這種演化不是任意或隨機變化。盡管納思在某一時刻的目標體系不能僅被先前的初始目標所決定，但仍被系統(tǒng)的初態(tài)(包括植入目標、本能反應(yīng)等)和經(jīng)驗(包括輸入目標、觀察數(shù)據(jù)等)所共同決定。它不會無緣無故就以“稱霸世界”為目標的。

正是這種目標體系的可塑性使得我們可以通過教育來保障智能系統(tǒng)的安全性。不論設(shè)計如何小心，我們也沒辦法完全預(yù)料一個通用智能系統(tǒng)在未來的全部行為，因為我們不能準確地知道它在未來會面對什么樣的情況。對納思這樣的系統(tǒng)，我們應(yīng)當通過教育和社會化來逐漸塑造其目標體系，而不是試圖在設(shè)計過程中解決所有問題。人也是一樣的：我們不能期望通過基因工程完全解決犯罪問題。對這一點我在《人工智能危險嗎?》中已有分析。

總而言之，智能系統(tǒng)不能決定自己的初始目標，但會根據(jù)經(jīng)驗構(gòu)建自己的派生目標，而其行為是被這些目標共同決定的。在這方面計算機和人類并無本質(zhì)區(qū)別，所以人工智能系統(tǒng)完全可以達到人類水平的自主性。我們應(yīng)當對由此而來的機會和挑戰(zhàn)有所準備，而簡單地斷言“人工智能歸根結(jié)底是實現(xiàn)設(shè)計者目標的工具(所以沒什么新鮮的)”或“人工智能的目標是我們完全無法影響的(所以必定毀滅人類)”都是錯的。