深度學習是一個高度迭代的過程。必須嘗試超參數的各種排列才能確定最佳組合。因此，在不影響成本的前提下，深度學習模式必須在更短的時間內進行訓練。本文將解釋深度學習中常用優化算法背后的數學原理。

[[274188]]

優化算法

在算法f(x)中，優化算法可得到f(x)的最大值或最小值。在深度學習中，可通過優化代價函數J來訓練神經網絡。代價函數為：

代價函數J的值是預測值y '與實際值y之間損失L的均值。利用網絡的權值W和偏置b，在正向傳播過程中得到y '值。通過優化算法更新可訓練參數W和b的值，從而使代價函數J的值最小化。

梯度下降法

權值矩陣W是隨機初始化的。利用梯度下降法可使代價函數J最小化，得到最優權矩陣W和偏置b。梯度下降法是一種求函數最小值的一階迭代優化算法。將代價函數J應用于梯度下降法來最小化成本。數學上可定義為：

第一個方程表示權值矩陣W的變化量，第二個方程表示偏置b的變化量。這兩個值的變化由學習率和成本J對權值矩陣W和偏置b的導數決定。反復更新W和 b，直到代價函數J最小化。接下來本文將通過下圖來解釋梯度下降法的原理：

• 案例1. 假設W初始值小于其達到全局最小值時的值。這一點的斜率J對W的偏導數為負，因此，根據梯度下降方程，權值增加。
• 案例2. 假設W初始值大于其達到全局最小值時的值。這一點的斜率J對W的偏導數為正，因此，根據梯度下降方程權值下降。

因此，W和b都取得最優值，代價函數J的值被最小化。

以上給出了以梯度下降法為優化算法的基本策略。

小批量梯度下降法

梯度下降法的缺點之一是只有在經過完整的訓練數據后才可更新參數。當訓練數據過大無法載入計算機內存時，這無疑構成了一大挑戰。小批量梯度下降法是解決上述梯度下降問題的一種應變之法。

在小批量梯度下降中，可根據用例將整個訓練數據分布在大小為16、32、64等的小批量中。然后使用這些小批量來迭代訓練網絡。使用小批量有以下兩個優點：

1. 在最初的幾個訓練案例中，只要遍歷第一個小批量，即可開始訓練。
2. 當擁有大量不適合儲入內存的數據時，可以訓練一個神經網絡。

現在batch_size成為新的模型超參數。

1. 當batch_size = number of training examples (訓練樣本數)時，稱為批量梯度下降。此時就存在著需要遍歷整個數據集后才能開始學習的問題。
2. 當batch_size = 1時，稱為隨機梯度下降。由于沒有充分利用矢量化，訓練將變得非常緩慢。
3. 因此，通常選擇64或128或256或512。然而，這取決于用例和系統內存，換而言之，應確保一個小批量能載入系統內存。

以上給出了采用小批量梯度下降法作為優化算法的基本策略。

Momentum

動量梯度下降法是一種先進的優化算法，可加快代價函數J的優化。動量梯度下降法利用移動平均來更新神經網絡的可訓練參數。

移動平均值是在n個連續值上計算的平均值，而不是整組值。數學上表示為：

這里，A[i]表示X[i]值在i數據點處的移動平均值。參數β決定計算平均值的數值n。例如,如果β= 0.9,移動平均值用10個連續值來計算;如果β= 0.99, 移動平均值用100個連續值來計算。一般情況下，n的值可近似為：

下圖顯示了移動平均線的工作原理。隨著β值增加,n增加,圖形偏向右邊,這是因為初始階段,這些值都會增加。然而,當β減少,n減少,就可以正確建模X。因此有必要找出適當的β值以得到良好的移動平均線。可以看出β= 0.9時適用于大多數情況。

現在，了解了什么是移動平均線，接下來試著理解其在動量算法中的應用。訓練神經網絡時，目標是優化代價函數J，使其值最小化。傳統梯度下降優化器遵循藍色路徑，而動量優化器遵循綠色路徑以達到最小值(紅色)。

與動量相比，梯度下降的路徑步驟過多。這是因為梯度下降在y軸上有很大波動，而在x軸上移動得很少，也就接近最小值。正確的解決方案是通過抑制y軸的運動來減少波動。這就是移動平均線發揮作用的地方。

觀察藍色的路徑，可以看到y軸上的運動是一系列的正負變化。將加權平均應用于幾乎為零的運動，隨后即出現y軸上的波動。對于x軸的運動也有類似的直覺。這減少了路徑上的波動，最終，隨著訓練迭代次數的減少，神經網絡在較短的時間內達到最小值。為此，引入兩個新的變量VdW和Vdb來跟蹤權值dW和偏置db的導數的加權平均值。

值得注意的是，由于只有參數更新方法發生了更改，所以也可使用小批量處理方法和力矩優化器。

以上給出了以動量為優化算法的基本策略。

RMS Prop

RMS Prop是指均方根傳播，與動量類似，它是一種抑制y軸運動的技術。前面的示例有助于理解其原理。為了更好地理解，這里將y軸表示為偏置b，把x軸表示為權重W。

憑直覺而言，當用一個大數除以另一個數時，結果會變得很小。該例中,第一個大數為db，第二大數為加權平均db²。引入了兩個新的變量Sdb和SdW，跟蹤db²和dW²的加權平均。db和Sdb相除得到一個更小的值，它抑制了y軸的運動。引入Ⲉ避免出現除以零的錯誤。對于 x軸上W的值的更新也有類似的直覺。

值得注意的是，這里以y軸為偏置b, x軸為權值W，以便更好地理解和可視化參數的更新。也可用類似的方法消除由任何偏置b(b1, b2，…，bn)或權值W(W1, W2，…，Wn)或兩者引起的任何波動。同樣，由于只有參數更新方法發生了更改，也可使用小批量處理方法和均方根優化器(RMS optimizer)。

以上給出了使用RMS Prop作為優化算法時的基本策略。

AdaM

AdaM是指適應性動量。它使用單一方法結合動量和RMS prop，是一種強大而快速的優化器。也可利用誤差修正方法解決加權平均計算中的冷啟動問題(即加權平均值的前幾個值與實際值相差太遠)。V值包含動量邏輯,而S值包含RMS prop邏輯。

值得注意的是,計算中使用2個不同的β值。β1用于計算相關動量，而β2用于計算相關RMS prop。同樣，由于只有參數更新方法發生了更改，所以也可使用小批量處理方法和AdaM 優化器。

以上給出了使用AdaM作為優化算法時的基本策略。

性能比較

圖1

圖2

損失曲面的輪廓及不同優化算法的時間演化