直到現(xiàn)在，幾乎你聽(tīng)說(shuō)過(guò)的每一個(gè)關(guān)于人工智能的進(jìn)步，仍基于 30 年前的一篇闡述多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的論文演變而來(lái)。

那就是 Geoffrey Hinton 在 1986 年寫(xiě)下的《Learning representations by back-propagation errors》。

這篇論文具有重要的意義，可以說(shuō)是代表著反向傳播算法（Backpropagation algorithm）首次被引入到多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練，為后來(lái)該算法的推廣埋下伏筆，尤其是為人工智能在最近 10 年的發(fā)展奠定了基礎(chǔ)，但要保持這種進(jìn)步，還得清醒地面對(duì)人工智能的局限性。

而作為反向傳播的提出者，現(xiàn)已 72 歲的 Geoffrey Hinton ，仍然站在反思（甚至質(zhì)疑）反向傳播的第一線。在 2017 年時(shí)，他還曾明確表示，“我們需要放棄掉反向傳播算法，重新開(kāi)辟一條新的路徑。”

從 Hinton 本人的實(shí)踐看來(lái)，解謎人的大腦將被包含在這種路徑之中，近年來(lái)，這位 “人工神經(jīng)網(wǎng)絡(luò)之父” 頻頻表現(xiàn)出了其對(duì)腦科學(xué)研究的濃厚興趣，并發(fā)表了一定數(shù)量的有關(guān)腦神經(jīng)科學(xué)的論文。

最近，Geoffrey Hinton 撰寫(xiě)了一篇名為 Backpropagation and the brain 的文章，論文發(fā)表在 Nature Reviews Neuroscience，陳述了他對(duì)于反向傳播的最新思考。從研究思路來(lái)看， 他希望探討人腦中存在反向傳播機(jī)制的可能，而這一方向曾在神經(jīng)科學(xué)領(lǐng)域廣受質(zhì)疑。

反向傳播支配下的人工神經(jīng)網(wǎng)絡(luò)

反向傳播在 AI 領(lǐng)域的地位是主導(dǎo)性的，尤其是它在人工神經(jīng)網(wǎng)絡(luò)（Neural Networks，NNs）中發(fā)揮的作用。

要理解這一概念，你可以首先把人工神經(jīng)網(wǎng)絡(luò)想象成一塊有很多層的三明治。每層都有人工神經(jīng)元，也就是微小的計(jì)算單元。這些神經(jīng)元在興奮時(shí)會(huì)把信號(hào)傳遞給相連的另一個(gè)神經(jīng)元（和真正的神經(jīng)元傳導(dǎo)興奮的方式一樣）。每個(gè)神經(jīng)元的興奮程度用一個(gè)數(shù)字代表，例如 0.13 或 32.39。兩個(gè)神經(jīng)元的連接處也有一個(gè)重要的數(shù)字，代表多少興奮從一個(gè)神經(jīng)元傳導(dǎo)至另一個(gè)神經(jīng)元。這個(gè)數(shù)字是用來(lái)模擬人腦神經(jīng)元之間的連接強(qiáng)度。數(shù)值越大，連接越強(qiáng)，從一個(gè)神經(jīng)元傳導(dǎo)至另一個(gè)神經(jīng)元的興奮度就越高。

以深度神經(jīng)網(wǎng)絡(luò)最成功的應(yīng)用圖像識(shí)別為例，正如 HBO 的電視劇《硅谷》中就有這樣一個(gè)場(chǎng)景：創(chuàng)業(yè)團(tuán)隊(duì)開(kāi)發(fā)了一款程序，能夠辨認(rèn)圖片中有沒(méi)有熱狗。

要讓它們發(fā)揮作用，首先需要一張圖片。舉一個(gè)簡(jiǎn)單的例子，讓神經(jīng)網(wǎng)絡(luò)讀取一張寬 100 像素、高 100 像素的黑白照片，輸入層每一個(gè)模擬神經(jīng)元的興奮值就是每一個(gè)像素的明亮度。那么，在這塊三明治的底層，一萬(wàn)個(gè)神經(jīng)元（100x100）代表圖片中每個(gè)像素的明亮度。

然后，將這一層神經(jīng)元與另一層神經(jīng)元相連，假如一層上有幾千個(gè)神經(jīng)元，它們與另一層上的幾千個(gè)神經(jīng)元相連，然后一層一層以此類推。最后，這塊三明治的最頂層，即輸出層，只有兩個(gè)神經(jīng)元，一個(gè)代表“熱狗”，另一個(gè)代表“不是熱狗”。這個(gè)過(guò)程是為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)在圖片中有熱狗時(shí)將興奮僅傳導(dǎo)至第一個(gè)神經(jīng)元，而在圖片中沒(méi)有熱狗時(shí)將興奮僅傳導(dǎo)至第二個(gè)神經(jīng)元。這種訓(xùn)練方法就是 Hinton 開(kāi)發(fā)的反向傳播技術(shù)。

當(dāng)你剛剛創(chuàng)建一個(gè)神經(jīng)網(wǎng)絡(luò)時(shí)，神經(jīng)元之間連接的強(qiáng)度是隨機(jī)的。換句話說(shuō)，每個(gè)連接傳導(dǎo)的興奮值也是隨機(jī)的，就像人腦中的突觸還沒(méi)有完全成形。

反向傳播發(fā)揮的作用就是通過(guò)改變數(shù)值，在輸入不變的情況下提高輸出的敏感度（類似于通過(guò)負(fù)反饋校準(zhǔn)），從而讓神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)特定的目標(biāo)。它是實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)中非常重要的技術(shù)，作為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的基本算法之一，它讓神經(jīng)網(wǎng)絡(luò)變得更加“智能”。

現(xiàn)在來(lái)看，反向傳播的原理其實(shí)并不復(fù)雜，但它需要大量的數(shù)據(jù)才能達(dá)到最佳效果。這也是為什么這項(xiàng)技術(shù)于 30 年前提出，但直至近年來(lái)數(shù)據(jù)作為最基本 “糧食” 到位之后，才在現(xiàn)實(shí)生活中產(chǎn)生巨大價(jià)值。

問(wèn)題在于，反向傳播是 Hinton 作為計(jì)算機(jī)科學(xué)家設(shè)想出來(lái)的一種工程方法，它讓機(jī)器更加智能，但這種機(jī)制真實(shí)存在于人的大腦中嗎？如果要讓機(jī)器朝著仿生人腦的路徑實(shí)現(xiàn)更高層次的類人的智能，這個(gè)問(wèn)題或?qū)㈦y以回避，也正是 Hinton 最新論文討論的核心。

最新論文：反向傳播在人腦中存在的“蛛絲馬跡”

人工神經(jīng)網(wǎng)絡(luò)中，反向傳播試圖通過(guò)使用對(duì)突觸權(quán)值的微小改變來(lái)減少誤差。

在這篇最新研究中，Hinton 團(tuán)隊(duì)認(rèn)為，盡管大腦可能不存在完全依照反向傳播的概念運(yùn)作，但是反向傳播為理解大腦皮層如何學(xué)習(xí)提供了新的線索。

已知的是，人腦通過(guò)調(diào)整神經(jīng)元之間的突觸連接來(lái)進(jìn)行學(xué)習(xí)，不過(guò)由于皮層中的突觸被嵌入到多層網(wǎng)絡(luò)中，這使得很難確定單個(gè)突觸修飾對(duì)系統(tǒng)行為的影響。

雖然反饋連接在大腦皮層中無(wú)處不在，但很難看到它們?nèi)绾蝹鬟f嚴(yán)格的反向傳播算法所需的錯(cuò)誤信號(hào)。在這里，我們?cè)谶^(guò)去和最近的發(fā)展基礎(chǔ)上，論證了反饋連接可能會(huì)誘導(dǎo)神經(jīng)活動(dòng)，而這些神經(jīng)活動(dòng)的差異可以用來(lái)局部近似這些信號(hào)，從而驅(qū)動(dòng)大腦中的深度網(wǎng)絡(luò)的有效學(xué)習(xí)。

最近的工作表明，與靈長(zhǎng)目動(dòng)物視覺(jué)皮層腹側(cè)流中表征的其他模型相比，反向傳播訓(xùn)練模型與所觀察到的神經(jīng)反應(yīng)匹配程度更高，而且未使用反向傳播訓(xùn)練的模型（如使用 Gabor filter 的生物啟發(fā)模型，或使用非反向傳播優(yōu)化的網(wǎng)絡(luò)）的性能不如使用反向傳播進(jìn)行優(yōu)化的網(wǎng)絡(luò)。

因此團(tuán)隊(duì)認(rèn)為，反向傳播對(duì)比之下體現(xiàn)的實(shí)用性和效率，至少暗示了大腦存在利用誤差驅(qū)動(dòng)的反饋進(jìn)行學(xué)習(xí)，而這正是反向傳播的核心思想。

Hinton 團(tuán)隊(duì)將這種基于活動(dòng)狀態(tài)誤差驅(qū)動(dòng)突觸變化的學(xué)習(xí)機(jī)制稱為 NGRAD（neural gradient representation by activity differences）。

“反向傳播這一概念的引入在神經(jīng)科學(xué)領(lǐng)域引起了轟動(dòng)，它可能成為深入了解大腦皮層學(xué)習(xí)的一個(gè)開(kāi)端。但反向傳播與大腦皮層的相關(guān)性很快遭到質(zhì)疑——部分原因是它在人工系統(tǒng)中未能產(chǎn)生優(yōu)秀的表現(xiàn)，且具有明顯的生物學(xué)不可靠性。隨著更強(qiáng)大的計(jì)算能力、更大的數(shù)據(jù)集和一些技術(shù)改進(jìn)的出現(xiàn)，反向傳播現(xiàn)在可以訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)來(lái)與人類的能力競(jìng)爭(zhēng)。NGRAD 以一種與我們認(rèn)為的生物回路運(yùn)作方式一致的方式解決了反向傳播的重大不可靠性”，文中寫(xiě)道。

團(tuán)隊(duì)也指出，局限性在于，雖然越來(lái)越多證據(jù)表明使用反向傳播訓(xùn)練的多層網(wǎng)絡(luò)有助解釋神經(jīng)數(shù)據(jù)，但關(guān)于如何在皮層中實(shí)現(xiàn)類反向傳播的學(xué)習(xí)仍有很多疑問(wèn)，例如在反向傳播中，傳遞的誤差信號(hào)不影響前向傳播產(chǎn)生的神經(jīng)元的活動(dòng)狀態(tài)，但是在大腦皮層，這些連接會(huì)對(duì)前饋傳播產(chǎn)生的神經(jīng)活動(dòng)產(chǎn)生影響，大腦皮層的反饋連接不僅可以調(diào)節(jié)、激活還可以驅(qū)動(dòng)活動(dòng)，這比反向傳播要復(fù)雜得多。

仍有疑問(wèn)：AI 與大腦會(huì)越走越遠(yuǎn)，還是越走越近？

針對(duì)這篇探討大腦中是否存在反向傳播機(jī)制的研究，北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授、北京智源人工智能研究院院長(zhǎng)黃鐵軍教授解讀道：“我在 GATIC 2017 就曾提出一個(gè)觀點(diǎn)，即人腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是進(jìn)化大數(shù)據(jù)訓(xùn)練的結(jié)果。大腦的結(jié)構(gòu)是億萬(wàn)年‘優(yōu)勝劣汰’的進(jìn)化過(guò)程造就的，我認(rèn)為，這個(gè)過(guò)程很可能存在廣義的反向傳播機(jī)制。

“這就像深度學(xué)習(xí)中，反向傳播把一個(gè)無(wú)結(jié)構(gòu)的多層人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練成為一個(gè)具有特定結(jié)構(gòu)的專用網(wǎng)絡(luò)，大腦進(jìn)化也是把不斷增生的沒(méi)有特定結(jié)構(gòu)的皮層，逐漸訓(xùn)練成分工明確、結(jié)構(gòu)基本確定的神經(jīng)網(wǎng)絡(luò)。后天學(xué)習(xí)只是微調(diào)，而不能改變大腦的基本結(jié)構(gòu)。

“我認(rèn)為，反向傳播如果發(fā)揮作用的話，也主要是在大腦先天結(jié)構(gòu)的形成過(guò)程中，而不是在后天學(xué)習(xí)過(guò)程中。包括這篇文章在內(nèi)，許多學(xué)者正在從個(gè)體大腦的后天學(xué)習(xí)中尋找反向傳播機(jī)制，但這可能沒(méi)有瞄準(zhǔn)方向”，他說(shuō)。

他以視覺(jué)系統(tǒng)為例解釋道：“人類視覺(jué)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在出生時(shí)是基本確定的，例如初級(jí)視皮層 V1 到 V4 的分區(qū)和區(qū)間連接關(guān)系都是確定的，嬰兒期接受真實(shí)的視覺(jué)刺激，進(jìn)行突觸修改，V1 以及大部分視覺(jué)皮層的突觸就此固定下來(lái)，形成我們的視覺(jué)功能，注意，嬰兒期只是突觸修改，并沒(méi)有改變 V1 到 V4 的這種基本結(jié)構(gòu)，相比之下，深度學(xué)習(xí)的起點(diǎn)并不是這樣一個(gè)先天形成的有基本結(jié)構(gòu)的神經(jīng)系統(tǒng)，只是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，可以被訓(xùn)練成視覺(jué)網(wǎng)絡(luò)，也可以被訓(xùn)練成語(yǔ)言網(wǎng)絡(luò)，因此，深度學(xué)習(xí)的訓(xùn)練過(guò)程，實(shí)際上是在重復(fù)大腦億萬(wàn)年進(jìn)化要完成的結(jié)構(gòu)生成任務(wù)”。

黃鐵軍認(rèn)為，從自然環(huán)境對(duì)人腦的 “訓(xùn)練” 來(lái)看，反向傳播是可能的訓(xùn)練手段。

“億萬(wàn)年生物進(jìn)化過(guò)程的大數(shù)據(jù)就是地球環(huán)境，訓(xùn)練機(jī)制也豐富多樣，反向傳播可能是其中之一。深度學(xué)習(xí)算力再?gòu)?qiáng)，大數(shù)據(jù)再大，也都難以望其項(xiàng)背。“因此，我們說(shuō)，模仿生物大腦已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而不是從零開(kāi)始尋找結(jié)構(gòu)，才是實(shí)現(xiàn)更強(qiáng)智能的更快捷的道路”，他說(shuō)。

當(dāng)然，這些諸多可能性仍待計(jì)算機(jī)科學(xué)家、神經(jīng)科學(xué)家們共同推動(dòng)探索。

需要指出，盡管深度學(xué)習(xí)這一概念在誕生初期仍有神經(jīng)科學(xué)的影子，但近年隨著深度學(xué)習(xí)本身的快速發(fā)展，它也愈發(fā)自成一派，幾乎與神經(jīng)科學(xué)無(wú)關(guān)聯(lián)：研究深度學(xué)習(xí)的專家們專注于提升算法，而神經(jīng)科學(xué)家們探討的問(wèn)題也基本上和人工深度神經(jīng)網(wǎng)絡(luò)無(wú)關(guān)。

如 Hinton 團(tuán)隊(duì)這樣，采用深度學(xué)習(xí)中發(fā)展出的思想來(lái)研究大腦并非主流，卻是希望在神經(jīng)科學(xué)與現(xiàn)有的人工智能（尤其以深度學(xué)習(xí)技術(shù)為代表）建立更多連接。

正如 Hinton 團(tuán)隊(duì)在文章結(jié)尾所言：“30 年前人們認(rèn)為神經(jīng)科學(xué)可能沒(méi)什么可學(xué)的，因?yàn)閺纳飳W(xué)角度看反向傳播算法有些方面是不現(xiàn)實(shí)的。隨著梯度學(xué)習(xí)算法在深度神經(jīng)網(wǎng)絡(luò)表現(xiàn)出強(qiáng)大的學(xué)習(xí)能力，我們開(kāi)始思考大腦的高效學(xué)習(xí)非常有可能近似計(jì)算梯度”。

AI 算法與人類大腦會(huì)越走越遠(yuǎn)，還是越走越近？相信未來(lái)還會(huì)有更多人加入到探尋該問(wèn)題答案的隊(duì)伍中。