1、現(xiàn)狀：

深度學習現(xiàn)在非常熱，各種會議都要和這個沾點邊。百度大腦，谷歌大腦計劃搞的都是這個。在一些領(lǐng)域取得了非常不錯的效果，如圖片識別，語音識別，在安全領(lǐng)域甚至還有識別加密的協(xié)議等。如圖片，語音領(lǐng)域?qū)嶒炇覝蚀_率都超過了90%。

2、深度學習的本質(zhì)

一個典型的機器學習樣例如上，從開始的通過傳感器(例如CMOS)來獲得數(shù)據(jù)。然后經(jīng)過預處理、特征提取、特征選擇，再到推理、預測或者識別。***一個部分，也就是機器學習的部分，絕大部分的工作是在這方面做的，也存在很多的paper和研究。

而中間的三部分，概括起來就是特征表達。良好的特征表達，對最終算法的準確性起了非常關(guān)鍵的作用，而且系統(tǒng)主要的計算和測試工作都耗在這一大部分。但，這塊實際中一般都是人工完成的。靠人工提取特征。

然而，手工地選取特征是一件非常費力、啟發(fā)式(需要專業(yè)知識)的方法，能不能選取好很大程度上靠經(jīng)驗和運氣，而且它的調(diào)節(jié)需要大量的時間。既然手工選取特征不太好，那么能不能自動地學習一些特征呢?答案是能!Deep Learning就是用來干這個事情的，看它的一個別名UnsupervisedFeature Learning，就可以顧名思義了，Unsupervised的意思就是不要人參與特征的選取過程。

深度學習的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學習模型和海量的訓練數(shù)據(jù)，來學習更有用的特征，從而最終提升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。區(qū)別于傳統(tǒng)的淺層學習，深度學習的不同在于：1)強調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點;2)明確突出了特征學習的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。

3、深度學習和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的關(guān)系

Deep learning本身算是machine learning的一個分支，簡單可以理解為neural network的發(fā)展。大約二三十年前，neural network曾經(jīng)是ML領(lǐng)域特別火熱的一個方向，但是后來確慢慢淡出了，原因包括以下幾個方面：

1)比較容易過擬合，參數(shù)比較難tune，而且需要不少trick;

2)訓練速度比較慢，在層次比較少(小于等于3)的情況下效果并不比其它方法更優(yōu);

所以中間有大約20多年的時間，神經(jīng)網(wǎng)絡(luò)被關(guān)注很少，這段時間基本上是SVM和boosting算法的天下。但是，一個癡心的老先生Hinton，他堅持了下來，并最終(和其它人一起B(yǎng)engio、Yann.lecun等)提成了一個實際可行的deep learning框架。

4、Deep learning與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)之間有相同的地方也有很多不同。

二者的相同在于deep learning采用了神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)，系統(tǒng)由包括輸入層、隱層(多層)、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個logistic regression模型;這種分層結(jié)構(gòu)，是比較接近人類大腦的結(jié)構(gòu)的。

而為了克服神經(jīng)網(wǎng)絡(luò)訓練中的問題，DL采用了與神經(jīng)網(wǎng)絡(luò)很不同的訓練機制。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中，采用的是back propagation的方式進行，簡單來講就是采用迭代的算法來訓練整個網(wǎng)絡(luò)，隨機設(shè)定初值，計算當前網(wǎng)絡(luò)的輸出，然后根據(jù)當前輸出和label之間的差去改變前面各層的參數(shù)，直到收斂(整體是一個梯度下降法)。而deep learning整體上是一個layer-wise的訓練機制。這樣做的原因是因為，如果采用back propagation的機制，對于一個deep network(7層以上)，殘差傳播到最前面的層已經(jīng)變得太小，出現(xiàn)所謂的gradient diffusion(梯度擴散)。

5、總結(jié)

深度學習是關(guān)于自動學習要建模的數(shù)據(jù)的潛在(隱含)分布的多層(復雜)表達的算法。換句話來說，深度學習算法自動的提取分類需要的低層次或者高層次特征。高層次特征，一是指該特征可以分級(層次)地依賴其他特征，例如：對于機器視覺，深度學習算法從原始圖像去學習得到它的一個低層次表達，例如邊緣檢測器，小波濾波器等，然后在這些低層次表達的基礎(chǔ)上再建立表達，例如這些低層次表達的線性或者非線性組合，然后重復這個過程，***得到一個高層次的表達。

Deep learning能夠得到更好地表示數(shù)據(jù)的feature，同時由于模型的層次、參數(shù)很多，capacity足夠，因此，模型有能力表示大規(guī)模數(shù)據(jù)，所以對于圖像、語音這種特征不明顯(需要手工設(shè)計且很多沒有直觀物理含義)的問題，能夠在大規(guī)模訓練數(shù)據(jù)上取得更好的效果。此外，從模式識別特征和分類器的角度，deep learning框架將feature和分類器結(jié)合到一個框架中，用數(shù)據(jù)去學習feature，在使用中減少了手工設(shè)計feature的巨大工作量(這是目前工業(yè)界工程師付出努力最多的方面)，因此，不僅僅效果可以更好，而且，使用起來也有很多方便之處，因此，是十分值得關(guān)注的一套框架，每個做ML的人都應(yīng)該關(guān)注了解一下。

當然，deep learning本身也不是***的，也不是解決世間任何ML問題的利器，不應(yīng)該被放大到一個無所不能的程度。

【本文為51CTO專欄作者“大數(shù)據(jù)和云計算”的原創(chuàng)稿件，轉(zhuǎn)載請通過微信公眾號獲取聯(lián)系和授權(quán)】

戳這里，看該作者更多好文