近來，AI安全已成為高度命中的話題。

AI「教父」Geoffrey Hinton和吳恩達(dá)就人工智能和災(zāi)難性風(fēng)險進(jìn)行了一次深度的隔空對話。

吳恩達(dá)今日發(fā)文分享了他們的共同想法：

- 人工智能科學(xué)家對風(fēng)險達(dá)成共識很重要。類似于氣候科學(xué)家，他們對氣候變化有大致的共識，所以能制定良好的政策。 

- 人工智能模型是否了解這個世界？我們的答案是肯定的。如果我們列出這些關(guān)鍵技術(shù)問題，并形成共同觀點(diǎn)，將有助于推動人類在風(fēng)險方面達(dá)成共識。

Hinton表示，

我以前經(jīng)常和吳恩達(dá)進(jìn)行交談，很高興再次見面，并了解到他對人工智能最近發(fā)展所帶來的各種風(fēng)險的看法。我們在很多事情上達(dá)成了共識，特別是，研究人員需要對風(fēng)險達(dá)成共識，以告知政策制定者。

在此之前，吳恩達(dá)同樣和Yoshua Bengio進(jìn)行了人工智能風(fēng)險的對話。

他們得出的一致意見是，闡明AI可能帶來重大風(fēng)險的具體場景。

接下來，一起來看看兩位AI大佬都具體討論了什么。

急需共識！

首先，Hinton提出，最重要的是——共識。

他表示，現(xiàn)在整個AI社群缺乏一種統(tǒng)一的共識。就像氣候科學(xué)家達(dá)成的共識一樣，AI科學(xué)家同樣需要。

在Hinton看來，之所以我們需要一個共識，是因?yàn)槿绻麤]有的話，每個AI科學(xué)家各執(zhí)一詞，那么政府和政策制定者就可以隨心從其中選擇一個符合自身利益的觀點(diǎn)作為指導(dǎo)。

這顯然會失去公允性。

而從目前的情況來看，AI科學(xué)家之間的不同觀點(diǎn)差異化很大。

Hinton認(rèn)為，如果我們各執(zhí)一詞的局面能快點(diǎn)過去，大家都能達(dá)成一致，共同接受AI可能帶來的某些主要威脅，認(rèn)識到規(guī)范AI發(fā)展的緊迫性，就好了。

吳恩達(dá)贊成Hinton的觀點(diǎn)。

雖說他現(xiàn)在還不覺得AI界差異化大到分裂，但好像在慢慢往那個方向演變。

主流AI界的觀點(diǎn)非常兩極分化，各陣營之間都在不遺余力地表達(dá)訴求。不過在吳恩達(dá)看來，這種表達(dá)更像一種爭吵，而不是和諧的對話。

當(dāng)然，吳恩達(dá)對AI社群還是有些信心的，他希望我們能共同找到一些共識，妥善進(jìn)行對話，這樣才能更好地幫助政策制定者制定相關(guān)計劃。

接下來，Hinton聊到了另一個關(guān)鍵問題，也是他認(rèn)為目前AI科學(xué)家們難以達(dá)成某個共識的原因——像GPT-4和Bard這種聊天機(jī)器人，究竟理不理解他們自己生成的話？

有些人認(rèn)為AI懂，有些人認(rèn)為它們不懂，只是隨機(jī)鸚鵡罷了。

Hinton認(rèn)為，只要這種差異還存在，那么AI界就很難達(dá)成一個共識。因此，他認(rèn)為當(dāng)務(wù)之急就是厘清這個問題。

當(dāng)然，就他自己來講肯定是認(rèn)為AI懂的，AI也并不只是統(tǒng)計數(shù)據(jù)。

他也提到了諸如Yan LeCun等知名科學(xué)家認(rèn)為AI并不能理解。

這更加凸顯了在這個問題上調(diào)和清楚地重要性。

吳恩達(dá)表示，判斷AI究竟是否能理解并不簡單，因?yàn)楹孟癫⒉淮嬖谝粋€標(biāo)準(zhǔn)，或者某種測試。

他自己的觀點(diǎn)是，他認(rèn)為無論是LLM也好，其它AI大模型也罷，都是在構(gòu)建一種世界模型。而AI在這個過程中可能會有些理解。

當(dāng)然，他說這只是他目前的觀點(diǎn)。

除此以外，他同意Hinton的說法，研究人員必須先就這個問題達(dá)成一致，才能繼續(xù)聊后面的風(fēng)險、危機(jī)那堆東西。

Hinton接著表示，AI根據(jù)數(shù)據(jù)庫，通過前面的單詞判斷、預(yù)測下一個單詞的生成，這件事在Hinton眼中就是理解的一種。

他認(rèn)為這和我們?nèi)四X思考的機(jī)制其實(shí)差不了多少。

當(dāng)然，究竟算不算理解還需要進(jìn)一步的討論，但最起碼不是隨機(jī)鸚鵡那么簡單。

吳恩達(dá)認(rèn)為，有一些問題會讓持不同觀點(diǎn)的人得出不同的結(jié)論，甚至推出AI將會滅絕人類。

他表示，想要更好地理解AI，我們需要更多去了解，更多去討論。

這樣才能建設(shè)一個包含著廣泛共識的AI社群。

LeCun雙手贊成，再提「世界模型」

前段時間，在全世界呼吁暫停超強(qiáng)AI研發(fā)期間，吳恩達(dá)與LeCun開直播就此話題展開了討論。

他們同時反對暫停AI是完全錯誤的，汽車剛發(fā)明時沒有安全帶和交通信號燈，人工智能與先前的技術(shù)進(jìn)步之間沒有本質(zhì)上的差異。

這次，LeCun就吳恩達(dá)和Hinton對話，再次提出了自己的「世界模型」，以及當(dāng)前人工智能連阿貓阿狗都不如。

我們都同意，我們需要在一些問題上達(dá)成共識。

我同意Geoffrey Hinton說的，即LLM有「某種程度」的理解力，還有稱它們「只是統(tǒng)計數(shù)據(jù)」是一種誤導(dǎo)。

LLM對世界的理解是非常膚淺的，很大程度上，是因?yàn)樗鼈兗兇馐窃谖谋旧嫌?xùn)練的。

從視覺中學(xué)習(xí)世界如何運(yùn)作的系統(tǒng)，將對現(xiàn)實(shí)有更深刻的理解。其次，自回歸LLM的推理和規(guī)劃能力非常有限。

我認(rèn)為，如果沒有（1）從視頻等感官輸入中學(xué)習(xí)「世界模型」，（2）一個能夠推理和規(guī)劃的架構(gòu)（不僅僅是自回歸），我們不可能接近人類水平的人工智能（甚至是貓級人工智能）。

現(xiàn)在，如果我們有能夠規(guī)劃的架構(gòu)，它們將是「目標(biāo)驅(qū)動的」：它們的規(guī)劃將通過在推理時（不僅僅是訓(xùn)練時）優(yōu)化一組目標(biāo)來工作。

這些目標(biāo)可以包括使這些系統(tǒng)安全和順從的「護(hù)欄」，即使它們最終擁有比人類更好的世界模型。

然后，問題變成了設(shè)計（或訓(xùn)練）好的目標(biāo)函數(shù)，以保證安全和效率。這是一個困難的工程問題，但并不像有些人說的那樣難。

LeCun的觀點(diǎn)立馬遭到了網(wǎng)友的反駁：感官對人工智能理解的重要性被高估了。

無論如何，我們所有的感官都簡化為電化學(xué)信號，供大腦處理。

文本攝取是一種元感覺，可以描述來自觸覺、視覺、嗅覺的信息…… 攝取大量元感官文本，已經(jīng)讓像必應(yīng)（Sydney版）這樣的LLM有能力，以一種優(yōu)于多數(shù)人的方式表達(dá)生活和世界。 

因此，我認(rèn)為一種重要的理解能力已經(jīng)存在，盡管時隱時現(xiàn)。而且更多地是由于資源限制，以及處理人員有意設(shè)置的沙盒，而不是缺乏感官數(shù)據(jù)。

我認(rèn)為是時候團(tuán)結(jié)起來，為社會和人工智能的進(jìn)步而努力了。想想吧，你還是baby人工智能。我們難道不想教那個孩子如何成為技術(shù)有機(jī)的統(tǒng)一者，而不是世界上的野獸主義者？

當(dāng)他變得有知覺時，他們不僅會更快樂，而且世界也不會陷入戰(zhàn)爭。看看泰恩河畔的紐卡斯?fàn)枴Ｈ绱硕虝旱暮推綍r期，但創(chuàng)造的美麗是偉大的。

而吳恩達(dá)和Hinton所說的共識，目前來看似乎不太可能。不是你我個人能力所及，需要所有人有這樣的意愿。

還有網(wǎng)友稱，這是相當(dāng)有爭議的談話。

我確實(shí)想知道，當(dāng)我教2歲的孩子說話時，他的行為更像隨機(jī)鸚鵡，還是真的理解上下文？或者兩者兼而有之？

因?yàn)樗纳舷挛南蛄勘萀LM豐富得多（文本、語氣、面部表情、環(huán)境等）。但是我確實(shí)想知道，如果一個人關(guān)閉了另一個人的所有感官，唯一可用的輸入是一些「文本嵌入」（文本輸入->神經(jīng)刺激），那個人會表現(xiàn)得更像隨機(jī)鸚鵡，還是能理解上下文？

Hinton：超級AI比預(yù)期來得快

離職谷歌后的Hinton，已經(jīng)全身心投入AI安全。6月10日，Hinton在智源大會上再次談及AI風(fēng)險。

如果一個大型神經(jīng)網(wǎng)絡(luò)能夠模仿人類語言獲取知識，甚至可以自取自用，會發(fā)生什么？

毋庸置疑，因?yàn)槟軌颢@取更多的數(shù)據(jù)，這個AI系統(tǒng)肯定要超越人類。

最壞的情況便是，不法分子會利用超級智能操縱選民，贏得戰(zhàn)爭。

另外，如果允許超級AI自己制定子目標(biāo)，一個子目標(biāo)是獲得更多權(quán)力，這個超級AI就會為了達(dá)成目標(biāo)，操縱使用它的人類。

值得一提的是，這樣超級AI的實(shí)現(xiàn)，便可通過「凡人計算」（mortal computation）。

2022年12月，Hinton曾發(fā)表的一篇論文The Forward-Forward Algorithm: Some Preliminary Investigations在最后一節(jié)提到了「凡人計算」。

論文地址：https://arxiv.org/pdf/2212.13345.pdf

如果你希望萬億參數(shù)神經(jīng)網(wǎng)絡(luò)只消耗幾瓦特的電，「凡人計算」可能是唯一的選擇。

他表示，如果我們真的放棄軟件和硬件的分離，我們就會得到「凡人計算」。由此，我們可以使用非常低功耗的模擬計算，而這正是大腦正在做的事情。

「凡人計算」能夠?qū)崿F(xiàn)將人工智能與硬件緊密結(jié)合的新型計算機(jī)。

這意味著，未來將GPT-3放入烤面包機(jī)中，只需1美元，耗電只需幾瓦。

因此，凡人計算的主要問題是，學(xué)習(xí)過程必須利用它所運(yùn)行的硬件的特定模擬屬性，而無需確切知道這些屬性是什么。

比如，不知道將神經(jīng)元的輸入與神經(jīng)元的輸出相關(guān)聯(lián)的確切函數(shù)，并且可能不知道連接性。

這也就是說，我們不能使用反向傳播算法之類的東西來獲得梯度。

所以問題是，如果我們不能使用反向傳播，我們還能做什么，因?yàn)槲覀儸F(xiàn)在都高度依賴反向傳播。

就此，Hinton提出了一種解決辦法：前向算法。

而前向算法是一種有前途的候選算法，盡管它在大型神經(jīng)網(wǎng)絡(luò)中的擴(kuò)展能力還有待觀察。

在Hinton看來，人工神經(jīng)網(wǎng)絡(luò)很快要比真實(shí)神經(jīng)網(wǎng)絡(luò)更智能，而超級智能將會比預(yù)期快得多。

由此，現(xiàn)在世界需要達(dá)成一個共識，AI未來還應(yīng)該由人類攜手創(chuàng)造。