反向傳播：

咱們在之前的課程講了一系列的前向傳播的知識點，前向傳播也就是從輸入到最終計算出LOSS值這一系列過程，那么這節課咱們要講一個更重要的知識點也就是反向傳播。反向傳播最直觀的意思就是說咱們要從LOSS值入手一步步的往回看，看什么呢?就是要看咱們的每一個權重參數對最終的LOSS值做了多大的貢獻。

最簡單的小例子

首先咱們用一個最簡單的小例子來看一下反向傳播是怎么一回事，如上圖最終的LOSS值等于-12下面咱們就要算對于X,Y,Z三個輸入來說分別對于LOSS值做了多大的貢獻，首先咱們用q=x+y，f=qz分別表示中間的計算過程。那么咱們要算什么呢?反向傳播最終要算的就是最終的LOSS值對X,Y,Z三個輸入的偏導數，這個偏導數該怎么算呢?在這里我們遵循一個鏈式法則也就是對于輸入來說他對于最終LOSS的貢獻等于他前面傳播下來的梯度再乘以自身的梯度。

鏈式法則

這里就是梯度傳播的計算方式，我們要算X和Y對于最終LOSS的貢獻(換句話說就是反向傳播到X和Y的梯度的大小)要先算前面一層傳播到X和Y的梯度再去計算X和Y自身的梯度。

稍難的例子

咱們再來看一個稍微難一些的例子，上圖表示的是咱們之前說過的這個SIGMOID函數，咱們接下來要算的就是這個函數梯度傳播的過程，導數計算的公式我已經寫在圖上了，咱們只需要根據導數的計算方式一步步的從最終的LOSS值往回算就可以了，下面淺紅色的值就是梯度傳播的值。

這里我們可以看到梯度傳播可以是一步一步的傳播也可以一步傳播一整塊，這一整塊我們把它當做是一個整體，相應的就要計算這一整個塊的梯度了，也就是直接對SIGMOID函數求導。

梯度傳播的門

這里咱們所說的門就是一個單位區域，我們可以從圖中看出來咱們在計算梯度傳播的過程中無外乎就是這幾種門的操作，每種門也都有它各自的特性，他們的特性是怎么得出的呢?這里就不帶大家一步步算了，咱們可以動動筆算一下梯度的傳播然后就知道為什么這些門有不同的特性了。

反向傳播就先說到這里了，這里只是很簡單的談了一下反向傳播具體的計算過程如果同學們還是不太理解建議看一下原始課程會有很詳細的推導。

【本文是51CTO專欄作者唐宇迪的原創稿件，轉載請注明出處】

戳這里，看該作者更多好文