[[407838]]

 Hinton剛剛在Twitter上開了一個(gè)小討論: 人們反對(duì)在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)時(shí)從大腦獲取靈感，就像在設(shè)計(jì)飛行器時(shí)從羽毛中獲取靈感一樣。

△ 「通常，在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)時(shí)，很多人反對(duì)從大腦汲取靈感，這就像從羽毛構(gòu)造中汲取靈感設(shè)計(jì)飛行器一樣。無(wú)人機(jī)需要的槳葉是不會(huì)對(duì)撞到的東西造成損壞，還可以通過(guò)快速的預(yù)處理輕松修復(fù)。」

所以，神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)到底能不能借鑒人類大腦構(gòu)造？

「能」或「不能」，這是一個(gè)問(wèn)題

前排網(wǎng)友激動(dòng)討論：太對(duì)了。飛機(jī)的設(shè)計(jì)靈感就來(lái)自鳥。大自然向我們展示了如何飛行。AI也是一樣。神經(jīng)網(wǎng)絡(luò)仍處于不斷發(fā)展當(dāng)中，無(wú)論何時(shí)，只要出現(xiàn)了任何難倒人類但已經(jīng)被大自然解決的問(wèn)題，我們都沒(méi)有理由不去研究大自然的解法，除非我們瘋了。

也有網(wǎng)友表示：的確，人類不能像鳥類和昆蟲那樣以驚人的靈活性（滑行、加速、停止、高效率）「飛行」。對(duì)大腦來(lái)說(shuō)，什么是 「飛行」？預(yù)測(cè)嗎？也許吧。神經(jīng)網(wǎng)絡(luò)不能像大腦那樣執(zhí)行許多任務(wù)。我認(rèn)為這很有啟發(fā)性。

也有網(wǎng)友認(rèn)為：對(duì)于分類問(wèn)題，BP（反向傳播）可以被看作是帶有特征工程（Feature engineering）的LR（邏輯回歸）。

△ 為什么關(guān)心這個(gè)問(wèn)題？事情是這樣的，在數(shù)學(xué)中也是如此，你使用一些工具來(lái)得到一個(gè)或一些想要的結(jié)果，如果你運(yùn)氣好的話，過(guò)一段時(shí)間，你就會(huì)明白為什么這些工具真的幫助了你。對(duì)于分類問(wèn)題，BP可以被看作是帶有特征工程（Feature engineering）的LR.

還有網(wǎng)友表示：自我保護(hù)和自我維持的設(shè)計(jì)還沒(méi)有納入機(jī)器的考慮范圍。

△ 大腦和鳥類出于生存的需要，進(jìn)化出了自我修復(fù)的能力。無(wú)人機(jī)和它們撞到的東西被看作是人造的和可替換的。自我保護(hù)和自我維持的設(shè)計(jì)還沒(méi)有納入機(jī)器的考慮范圍。

甚至有網(wǎng)友質(zhì)疑是否可以將大腦-神經(jīng)網(wǎng)絡(luò)與鳥類-羽毛進(jìn)行對(duì)比：

△ 我們必須確定神經(jīng)網(wǎng)絡(luò)和大腦之間的關(guān)系是否可與羽毛和鳥類（或槳葉和無(wú)人機(jī)）之間的關(guān)系相提并論......不確定是否如此。

也有網(wǎng)友搬出了《大英百科全書》的解釋：

羽毛的進(jìn)化早于鳥類，甚至早于鳥類飛行。因此，早期的羽毛具有保溫功能，（......），但不具有空氣動(dòng)力學(xué)和飛行功能。(......)羽毛不再被認(rèn)為是鳥類的獨(dú)特和診斷性特征。

對(duì)大腦來(lái)說(shuō)反向傳播是不可能的

在反向傳播算法出現(xiàn)的好幾十年，關(guān)于大腦如何學(xué)習(xí)的理論主要受「赫布理論」（1949）影響，通常被解釋為「共同激發(fā)的神經(jīng)元之間存在連接」，即相鄰神經(jīng)元的活動(dòng)越相關(guān)，它們之間的突觸聯(lián)系就越強(qiáng)。

這一理論經(jīng)過(guò)一些修改后，成功解釋了某些類型的學(xué)習(xí)和分類任務(wù)。

雖然赫布理論在使用錯(cuò)誤信息時(shí)，是一種的非常狹窄、特殊且不敏感的方法，但對(duì)神經(jīng)學(xué)家來(lái)說(shuō)，它仍然是最好的學(xué)習(xí)規(guī)則，20世紀(jì)50年代后期，它甚至激發(fā)了第一個(gè)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。

這些網(wǎng)絡(luò)中的每個(gè)人工神經(jīng)元接收多個(gè)輸入并產(chǎn)生一個(gè)輸出，和真實(shí)的神經(jīng)元一樣。人工神經(jīng)元用一個(gè)所謂的「突觸」權(quán)重(一個(gè)表示該輸入重要性的數(shù)字)，對(duì)輸入進(jìn)行加權(quán)求和。

到了20世紀(jì)60年代，這些神經(jīng)元可以被組織成一個(gè)有輸入層和輸出層的網(wǎng)絡(luò)，「人工神經(jīng)網(wǎng)絡(luò)」可以被訓(xùn)練來(lái)解決某些簡(jiǎn)單的問(wèn)題。

在訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)為其神經(jīng)元確定最佳權(quán)值，以降低誤差。

然而直到1986年以前，沒(méi)有人知道如何有效地訓(xùn)練帶有「隱藏層」的人工神經(jīng)網(wǎng)絡(luò)，直到Hinton發(fā)表了「反向傳播算法」相關(guān)論文。

反向傳播的發(fā)明立即引起了一些神經(jīng)科學(xué)家的強(qiáng)烈抗議，他們認(rèn)為這種方法不可能在真正的大腦中起作用。

首先，雖然計(jì)算機(jī)可以很容易地在兩個(gè)階段實(shí)現(xiàn)該算法，但是對(duì)于生物神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，這樣做并不簡(jiǎn)單。

其次，是計(jì)算神經(jīng)科學(xué)家所說(shuō)的權(quán)重傳遞問(wèn)題: 反向傳播算法復(fù)制或「?jìng)鬏敗龟P(guān)于推理所涉及的所有突觸權(quán)重的信息，并更新這些權(quán)重以獲得更高的準(zhǔn)確性。

但是在生物網(wǎng)絡(luò)中，神經(jīng)元只能看到其他神經(jīng)元的輸出，而不能看到影響輸出的突觸權(quán)重或內(nèi)部過(guò)程。

從神經(jīng)元的角度來(lái)看，「知道自己的突觸權(quán)重是可以的，你不能知道其他神經(jīng)元的突觸權(quán)重。」

任何生物學(xué)上似乎可行的學(xué)習(xí)規(guī)則也需要遵守神經(jīng)元只能從相鄰神經(jīng)元獲取信息的限制; 反向傳播可能需要從更遠(yuǎn)的神經(jīng)元獲取信息。

因此，「如果你反向傳播信號(hào)，大腦似乎不可能計(jì)算。」

膠囊網(wǎng)絡(luò)

2017年，深度學(xué)習(xí)三巨頭之一的Geoffrey Hinton，發(fā)表了兩篇論文解釋「膠囊網(wǎng)絡(luò)（Capsule Networks）」。

在當(dāng)時(shí)，這是一種全新的神經(jīng)網(wǎng)絡(luò)，它基于一種新的結(jié)構(gòu)——膠囊，在圖像分類上取得了更優(yōu)越的性能，解決了CNN的某些缺陷，例如無(wú)法理解圖片和語(yǔ)義關(guān)系、沒(méi)有空間分層和空間推理的能力等。

在CNN中，左右兩幅圖都可被網(wǎng)絡(luò)識(shí)別為人臉

甚至，Hinton自己也公開表示過(guò)，他要證明為何卷積神經(jīng)網(wǎng)絡(luò)完全是「垃圾」，應(yīng)該以自己的膠囊網(wǎng)絡(luò)代替。過(guò)去三年中，他每年都會(huì)推出一個(gè)新版本的膠囊網(wǎng)絡(luò)。

今年2月，Hinton發(fā)表了一篇新論文：如何在神經(jīng)網(wǎng)絡(luò)中表示部分-整體層次結(jié)構(gòu)？（How to represent part-whole hierarchies in a neural network）

本論文中，他提出了一個(gè)叫做GLOM的架構(gòu)，可以在神經(jīng)網(wǎng)絡(luò)中使用膠囊來(lái)表示視覺(jué)的層次結(jié)構(gòu)，即部分-整體的關(guān)系。

GLOM通過(guò)提出island的概念來(lái)表示解析樹的節(jié)點(diǎn)。GLOM可以顯著提升transformer類的模型的可解釋性。可以顯著提升transformer類的模型的可解釋性。

作為深度學(xué)習(xí)的大大牛，Hinton提出了反向傳播（BP），隨后又一直在否定自己的工作，提出了「膠囊網(wǎng)絡(luò)」還有其他工作來(lái)增加生物學(xué)上的解釋，對(duì)于揭開大腦構(gòu)造和神經(jīng)網(wǎng)絡(luò)之謎，他的思考從未停止。