2016年Google人工智能程序阿爾法圍棋（AlphaGo）對戰世界圍棋選手李世石，最終以4:1的成績獲得勝利，這驚人的一幕將國內外研究和學習人工智能的熱題推向了新的高潮。然而，何為深度學習？本文將揭開深度學習的面紗。

• 1 什么是深度學習及深度學習的基本思想？

• 2 人工智能是如何發展而來？

• 3 機器學習的相關技術有哪些？

• 4 Deeplearning與Neural Network的異同？

• 5 Deeplearning訓練過程？

• 6 深度學習研究現狀、應用領域和發展趨勢？

1 什么是深度學習及深度學習的基本思想？

深度學習是機器學習的一個新分支，以人工神經網絡為基礎模擬人腦的分析學習機制來進行解釋圖像、聲音、文本等數據。人工神經網絡（Artificial Neural Networks,ANNs）是深度學習算法的基礎，簡稱為神經網絡（NNs）。神經網絡的思想是通過借鑒動物神經網絡行為特征進行分布式并行處理信息的數學算法模型。深度學習是利用不斷地學習組合底層特征形成更加抽象的高層特征，來發現數據的分布式特征。在深度學習中，計算機可以自行觀測學習數據和結果來實現自動解決問題。在深度學習算法的發展過程中，Caffe受到廣大研究和開發人員的歡迎，是一款優秀的神經網絡深度學習框架。

假設我們有一個系統S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>…..=>Sn => O，如果輸出O等于輸入I，即輸入I經過這個系統變化之后沒有任何的信息損失（呵呵，大牛說，這是不可能的。信息論中有個“信息逐層丟失”的說法（信息處理不等式），設處理a信息得到b，再對b處理得到c，那么可以證明：a和c的互信息不會超過a和b的互信息。這表明信息處理不會增加信息，大部分處理會丟失信息。當然了，如果丟掉的是沒用的信息那多好?。３至瞬蛔儯@意味著輸入I經過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示?，F在回到我們的主題Deep Learning，我們需要自動地學習特征，假設我們有一堆輸入I（如一堆圖像或者文本），假設我們設計了一個系統S（有n層），我們通過調整系統中參數，使得它的輸出仍然是輸入I，那么我們就可以自動地獲取得到輸入I的一系列層次特征，即S1，…, Sn。

對于深度學習來說，其思想就是堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，就可以實現對輸入信息進行分級表達了。

另外，前面是假設輸出嚴格地等于輸入，這個限制太嚴格，我們可以略微地放松這個限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個放松會導致另外一類不同的Deep Learning方法。上述就是Deep Learning的基本思想。

2 人工智能是如何發展而來？

人工智能主要經歷了由淺層學習（Shallow Learning）到深度學習（Deep Learning）的發展歷程。在1956年達特茅斯大學召開的會議上首次出現了“人工智能”（Artificial Intelligence, AI）這個術語，標志著人工智能正式誕生。20世界60年代到70年代人工智能的應用走向實用化，研究和研發和各種不同類型的專家系統。90年代隨著Internet的發展，多種淺層機器學習模型先后被提出，比如支撐向量機（Support Vector Machines, SVM）、Boosting、最大熵方法（Logistic Regression, LR）等，這個階段淺層學習是機器學習的第一次浪潮。當下進入大數據+深度模型階段，是機器學習的第二次浪潮。2006年，加拿大多倫多大學機器學習領域泰斗Geoffrey Hinton和他的學生在科學上發表的一篇文章，揭露和兩個主要的信息，一是多隱層的人工神經網絡學習得到的特征數據有利于可視化或分類，二是通過“逐層初始化”可有效克服深度神經網絡在訓練上的難點。

當前多數分類、回歸等學習方法為淺層結構算法，其局限性在于有限樣本和計算單元情況下對復雜函數的表示能力有限，針對復雜分類問題其泛化能力受到一定制約。深度學習可通過學習一種深層非線性網絡結構，實現復雜函數逼近，表征輸入數據分布式表示，并展現了強大的從少數樣本集中學習數據集本質特征的能力。（多層的好處是可以用較少的參數表示復雜的函數）

深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。區別于傳統的淺層學習，深度學習的不同在于：1）強調了模型結構的深度，通常有5層、6層，甚至10多層的隱層節點；2）明確突出了特征學習的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規則構造特征的方法相比，利用大數據來學習特征，更能夠刻畫數據的豐富內在信息。目前，深度神經網絡（DNN）技術的應用十分廣泛，大型知名互聯網公司競相投入資源研究探索，具有重要的研究意義和價值。

3 機器學習的相關技術有哪些？

從學習形式上可以分為有監督學習和無監督學習，有監督學習由一個輸入對象和一個期望的輸出值組成，是從標記的訓練數據來推斷一個功能的機器學習任務，根據訓練數據集學習得到一個函數，輸入新數據，通過這個函數預測結果。無監督學習是從沒有標記的訓練數據中學習數據的信息或特征來發現訓練樣本中的結構性知識，使用的許多方法是基于數據挖掘方法；從學習方法上可以分為經驗性歸納學習、分析學習、類比學習、遺傳算法、連接學習和增強學習；其它相關的技術包括BP（Back Propagation）神經網絡-是一種按誤差逆傳播算法訓練的多層前饋網絡包括輸入層、隱含層和輸出層，隨機森林（Random Forests）、支持向量機（Support Vector Machine, SVM）-是一種監督學習模型，關鍵是核函數、把輸入隱含映射成高維特征空間，有效進行線性和非線性分類、深度學習（Deeping Learning）-典型神經網絡采用大量的卷積層，利用空間相對關系來減少參數數目以提高訓練性能。

4 Deep learning與Neural Network的異同？

深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。

Deep learning本身算是machine learning的一個分支，簡單可以理解為neural network的發展。大約二三十年前，neural network曾經是ML領域特別火熱的一個方向，但是后來確慢慢淡出了，原因包括以下幾個方面：

1）比較容易過擬合，參數比較難tune，而且需要不少trick；

2）訓練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優；

所以中間有大約20多年的時間，神經網絡被關注很少，這段時間基本上是SVM和boosting算法的天下。但是，一個癡心的老先生Hinton，他堅持了下來，并最終（和其它人一起Bengio、Yann.lecun等）提成了一個實際可行的deep learning框架。

Deep
learning與傳統的神經網絡之間有相同的地方也有很多不同。

二者的相同在于deep learning采用了神經網絡相似的分層結構，系統由包括輸入層、隱層（多層）、輸出層組成的多層網絡，如下圖所示。

上圖中每個圓圈都是一個神經元，每條線表示神經元之間的連接。我們可以看到，上面的神經元被分成了多層，層與層之間的神經元有連接，而層內之間的神經元沒有連接。最左邊的層叫做輸入層，這層負責接收輸入數據；最右邊的層叫輸出層，我們可以從這層獲取神經網絡輸出數據。輸入層和輸出層之間的層叫做隱藏層。每一層可以看作是一個logistic regression模型；這種分層結構，是比較接近人類大腦的結構的。

而為了克服神經網絡訓練中的問題，DL采用了與神經網絡很不同的訓練機制。傳統神經網絡中，采用的是back propagation的方式進行，簡單來講就是采用迭代的算法來訓練整個網絡，隨機設定初值，計算當前網絡的輸出，然后根據當前輸出和label之間的差去改變前面各層的參數，直到收斂（整體是一個梯度下降法）。而deep learning整體上是一個layer-wise的訓練機制。這樣做的原因是因為，如果采用back propagation的機制，對于一個deep network（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradient diffusion（梯度擴散）。這個問題我們接下來討論。

5 Deep learning訓練過程？
5.1傳統神經網絡的訓練方法為什么不能用在深度神經網絡

BP算法作為傳統訓練多層網絡的典型算法，實際上對僅含幾層網絡，該訓練方法就已經很不理想。深度結構（涉及多個非線性處理單元層）非凸目標代價函數中普遍存在的局部最小是訓練困難的主要來源。

BP算法存在的問題：

（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越??；

（2）收斂到局部最小值：尤其是從遠離最優區域開始的時候（隨機值初始化會導致這種情況的發生）；

（3）一般，我們只能用有標簽的數據來訓練：但大部分的數據是沒標簽的，而大腦可以從沒有標簽的的數據中學習；

5.2 deep learning訓練過程

如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監督學習中相反的問題，會嚴重欠擬合（因為深度網絡的神經元和參數太多了）。

2006年，hinton提出了在非監督數據上建立多層神經網絡的一個有效方法，簡單的說，分為兩步，一是每次訓練一層網絡，二是調優，使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可能一致。方法是：

1）首先逐層構建單層神經元，這樣每次都是訓練一個單層網絡。

2）當所有層訓練完后，Hinton使用wake-sleep算法進行調優。

將除最頂層的其它層間的權重變為雙向的，這樣最頂層仍然是一個單層神經網絡，而其它層則變為了圖模型。向上的權重用于“認知”，向下的權重用于“生成”。然后使用Wake-Sleep算法調整所有的權重。讓認知和生成達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉，那么所有人臉的圖像應該激活這個結點，并且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。Wake-Sleep算法分為醒（wake）和睡（sleep）兩個部分。

1）wake階段：認知過程，通過外界的特征和向上的權重（認知權重）產生每一層的抽象表示（結點狀態），并且使用梯度下降修改層間的下行權重（生成權重）。也就是“如果現實跟我想象的不一樣，改變我的權重使得我想象的東西就是這樣的”。

2）sleep階段：生成過程，通過頂層表示（醒時學得的概念）和向下權重，生成底層的狀態，同時修改層間向上的權重。也就是“如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念”。

deep learning訓練過程具體如下：

1）使用自下上升非監督學習（就是從底層開始，一層一層的往頂層訓練）：

采用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，是和傳統神經網絡區別最大的部分（這個過程可以看作是feature learning過程）：

具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網絡的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特征；在學習得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數；

2）自頂向下的監督學習（就是通過帶標簽的數據去訓練，誤差自頂向下傳輸，對網絡進行微調）：

基于第一步得到的各層參數進一步fine-tune整個多層模型的參數，這一步是一個有監督訓練過程；第一步類似神經網絡的隨機初始化初值過程，由于DL的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功于第一步的feature learning過程。

6 深度學習研究現狀、應用領域和發展趨勢？

[[392787]]

在國外，2012年Hinton和他的學生Alex將神經模型應用于ImageNet上，取得了驚人的結果，這一年是深度學習研究和應用爆發的一年。深度學習在圖像分類、圖像定位、圖像檢測、語音識別等領域都取得了碩果累累，Google的AlphaGo不再詳述。在國內BAT、華為、京東等互聯網巨頭紛紛組建人工智能研究院，力爭人工智能在家居、汽車、無人系統、安防等方面有突破性的創新應用。

Reference:

[1] 樂毅，王斌.深度學習-Caffe之經典模型詳解與實戰 [M].北京：電子工業出版社，2016.

https://blog.csdn.net/zouxy09/article/details/8775518

https://www.zybuluo.com/hanbingtao/note/433855