Roseblatt在五十年代就提出了感知機, 又過了將近30年, 多層神經網絡的BP算法才得以普及。

而事實上這不過是微積分中鏈式法則的簡單應用而已, 為什么要花這么久呢？

bengio在quora上這樣回答道：

很多看似顯而易見的想法只有在事后才變得顯而易見。

在控制論中, 很早就開始應用鏈式反則來解決多層非線性系統。

但在80年代早期, 神經網絡的輸出是離散的, 這樣就無法用基于梯度的方法來優化了。

這時Rumelhart和Hinton想到, 只要把輸出做成平滑的(sigmoid), 就可以用鏈式法則來訓練多層神經網絡了。

所以這不僅僅是鏈式法則的問題, 而是要跳出離散輸出的框框, 這種理念上變革并不容易。