前向傳播之-softmax

softmax：這個分類器可以說是咱們深度學習領域最常見的一個分類器了，如果大家對邏輯回歸有基礎的話那么這個softmax分類器可以當成一個多分類的邏輯回歸。

sigmoid:上圖就是咱們這個sigmoid函數了，這個函數很重要無論在softmax還是在咱們之后會講到的激活函數上，所以咱們先來看看這個函數是干什么用的，首先咱們先來看它的自變量X得到取值范圍，可以看到咱們的X可以取正無窮到負無窮的一切實數，那么對應的Y也就是值域的范圍是從0到1的。那么對于一個任意的輸入X1我們都可以得到一個對應的值Y1，這個Y1是在0到1之間的一個數，也就是我們可以把所有的值都壓縮到0到1這個區間內，結合咱們之前的得分函數，一個輸入對于每一個類別的得分X，我們都可以把這個得分映射到[0,1]區間內，也就是把我們的得分數值轉成了相應的概率值。

softmax-loss計算：這一系列的公式其實就告訴了咱們一件事咱們這個分類器最終的LOSS值是如何計算出來的，首先咱們對應于一個輸入計算出了它屬于每一個類別的得分數值，然后再用上面講的sigmoid函數把所有的得分數值映射成一個概率值，有了概率值之后loss的計算就是對最終正確分類所占的概率求一個LOG值再取負號就OK了。

動手算：咱們現在就來動手算一下這個LOSS值是什么計算的，首先對每個得分數值計算其指數次冪，然后對于得到的所有值再做一個歸一化的操作，***把正確分類的那個概率值帶到LOSS計算公式中就性啦。

SVM和SOFTMA對比：從圖中可以到最明顯的區別就是LOSS值的計算方式，SVM是計算的分值的一個差值情況，SOFTMAX看的則是分類的準確率。這里就不詳細推導他們優缺點了，可以告訴大家的是SOFTMAX對錯誤的分類敏感程度更高，其實SOFTMAX是一個永不滿足的分類器，它的LOSS始終存在的，感興趣的同學可以自己算一算LOSS的流程就知道了，所以在深度學習領域我們使用的更多的是SOFTMAX分類器。

【本文是51CTO專欄作者唐宇迪的原創稿件，轉載請注明出處】

戳這里，看該作者更多好文