深度學習的本質探究?
1、人工智能浪潮又起
標志型事件,阿爾法圍棋(AlphaGo)戰勝李世石。
alphago是一款圍棋人工智能程序,由谷歌(Google)旗下DeepMind公司的戴維·西爾弗、艾佳·黃和戴密斯·哈薩比斯與他們的團隊開發,這個程序利用“價值網絡”去計算局面,用“策略網絡”去選擇下子。2015年10月阿爾法圍棋以5:0完勝歐洲圍棋冠軍、職業二段選手樊麾;2016年3月對戰世界圍棋冠軍、職業九段選手李世石,并以4:1的總比分獲勝。這個讓人工智能浪潮又起,熱浪達到了一個高度。
alphago 核心用到了”深度卷積神經網絡”和“MCTS,蒙特卡洛搜索樹”算法。接下來我們了解下深度學習的本質到底是什么?深度學習==人工智能嗎?
2、深度學習起源和概念
深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征,以發現數據的分布式特征表示。
深度學習的概念由Hinton等人于2006年提出。基于深度置信網絡(DBN)提出非監督貪心逐層訓練算法,為解決深層結構相關的優化難題帶來希望,隨后提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是***個真正多層結構學習算法,它利用空間相對關系減少參數數目以提高訓練性能。
深度學習是機器學習研究中的一個新的領域,其動機在于建立、模擬人腦進行分析學習的神經網絡,它模仿人腦的機制來解釋數據,例如圖像,聲音和文本。
同機器學習方法一樣,深度機器學習方法也有監督學習與無監督學習之分.不同的學習框架下建立的學習模型很是不同.例如,卷積神經網絡(Convolutional neural networks,簡稱CNNs)就是一種深度的監督學習下的機器學習模型,而深度置信網(Deep Belief Nets,簡稱DBNs)就是一種無監督學習下的機器學習模型。
3、深度學習解決什么問題
從一個輸入中產生一個輸出所涉及的計算可以通過一個流向圖(flow graph)來表示:流向圖是一種能夠表示計算的圖,在這種圖中每一個節點表示一個基本的計算以及一個計算的值,計算的結果被應用到這個節點的子節點的值。考慮這樣一個計算集合,它可以被允許在每一個節點和可能的圖結構中,并定義了一個函數族。輸入節點沒有父節點,輸出節點沒有子節點。
這種流向圖的一個特別屬性是深度(depth):從一個輸入到一個輸出的最長路徑的長度。
傳統的前饋神經網絡能夠被看做擁有等于層數的深度(比如對于輸出層為隱層數加1)。SVMs有深度2(一個對應于核輸出或者特征空間,另一個對應于所產生輸出的線性混合)。
人工智能研究的方向之一,是以所謂 “專家系統” 為代表的,用大量 “如果-就” (If - Then) 規則定義的,自上而下的思路。人工神經網絡 ( Artifical Neural Network),標志著另外一種自下而上的思路。神經網絡沒有一個嚴格的正式定義。它的基本特點,是試圖模仿大腦的神經元之間傳遞,處理信息的模式。
3.1大腦有一個深度架構
1981年諾貝爾醫學生理學獎頒發給了David Hubel,一位神經生物學家。他的主要研究成果是發現了視覺系統信息處理機制,證明大腦的可視皮層是分級的。他的貢獻主要有兩個,一是他認為人的視覺功能一個是抽象,一個是迭代。抽象就是把非常具體的形象的元素,即原始的光線像素等信息,抽象出來形成有意義的概念。這些有意義的概念又會往上迭代,變成更加抽象,人可以感知到的抽象概念。
像素是沒有抽象意義的,但人腦可以把這些像素連接成邊緣,邊緣相對像素來說就變成了比較抽象的概念;邊緣進而形成球形,球形然后到氣球,又是一個抽象的過程,大腦最終就知道看到的是一個氣球。
視覺皮質并顯示出一系列的區域,在每一個這種區域中包含一個輸入的表示和從一個到另一個的信號流(這里忽略了在一些層次并行路徑上的關聯,因此更復雜)。這個特征層次的每一層表示在一個不同的抽象層上的輸入,并在層次的更上層有著更多的抽象特征,他們根據低層特征定義。
需要注意的是大腦中的表示是在中間緊密分布并且純局部:他們是稀疏的:1%的神經元是同時活動的。給定大量的神經元,仍然有一個非常高效地(指數級高效)表示。
3.2 認知過程逐層進行,逐步抽象
人類層次化地組織思想和概念;
人類首先學習簡單的概念,然后用他們去表示更抽象的;
工程師將任務分解成多個抽象層次去處理;
學習/發現這些概念(知識工程由于沒有反省而失敗?)是很美好的。對語言可表達的概念的反省也建議我們一個稀疏的表示:僅所有可能單詞/概念中的一個小的部分是可被應用到一個特別的輸入(一個視覺場景)。
4、深度學習適用場景
深度學習已經在語音識別、圖像處理等方面取得了巨大成功。從2013、2014年開始,也在自然語言處理領域出現深度學習的應用浪潮。隨著研究的深入,其他領域還在探索中,如自動駕駛等等。
5、深度學習等同人工智能嗎?
5.1 強人工智能和弱人工智能
人工智能的一個比較流行的定義,也是該領域較早的定義,是由約翰·麥卡錫(John McCarthy|)在1956年的達特矛斯會議(Dartmouth Conference)上提出的:人工智能就是要讓機器的行為看起來就象是人所表現出的智能行為一樣。但是這個定義似乎忽略了強人工智能的可能性(見下)。另一個定義指人工智能是人造機器所表現出來的智能性。總體來講,目前對人工智能的定義大多可劃分為四類,即機器“像人一樣思考”、“像人一樣行動”、“理性地思考”和“理性地行動”。這里“行動”應廣義地理解為采取行動,或制定行動的決策,而不是肢體動作。
強人工智能: 強人工智能觀點認為有可能制造出真正能推理(Reasoning)和解決問題(Problem_solving)的智能機器,并且,這樣的機器能將被認為是有知覺的,有自我意識的。強人工智能可以有兩類: 類人的人工智能,即機器的思考和推理就像人的思維一樣。 非類人的人工智能,即機器產生了和人完全不一樣的知覺和意識,使用和人完全不一樣的推理方式。
弱人工智能:弱人工智能觀點認為不可能制造出能真正地推理(Reasoning)和解決問題(Problem_solving)的智能機器,這些機器只不過看起來像是智能的,但是并不真正擁有智能,也不會有自主意識。 主流科研集中在弱人工智能上,并且一般認為這一研究領域已經取得可觀的成就。強人工智能的研究則處于停滯不前的狀態下。
當前深度學習還是其他算法,更多的是弱人工智能,根本就沒有思考和推斷的能力,深度學習說low一點,本質上做的還是分類。
6、深度學習研究方向
Hinton,Bengio及Lecun三位大神在Nature上發表的Deep Learning綜述***總結了深度學習的三大發展方向:
1)無監督學習。無監督學習在深度學習剛火的那幾年有很重要的作用,比如用無監督方式訓練深度信念網絡還有稀疏自編碼器等,使用無監督學習主要是為了預訓練,以得到一個較好的初始值,隨后再使用有監督訓練進行微調。但是隨著計算能力的發展,人們發現只要在數據集足夠大的情況下使用純有監督學習也能得到較好性能,所以近幾年無監督學習發展不是很大,Hinton他們希望在未來無監督學習能有更大發展,因為人類和動物的學習在很大程度上都是無監督的:我們通過觀察這個世界來學習,而不是有個老師在教我們這個世界的原理。
2)深度強化學習。深度強化學習的主要思想簡而言之就是將深度學習與強化學習相結合,是一種從感知到動作的端到端學習。簡單的說,就是和人類一樣,輸入感知信息比如視覺,然后通過深度神經網絡,直接輸出動作,中間沒有人工特征的工作。深度增強學習具備使機器人實現真正完全自主的學習一種甚至多種技能的潛力。深度強化學習最突出的代表就是DeepMind公司了,該公司在NIPS 2013上發表的Playing Atari with Deep Reinforcement Learning一文,在該文中***次提出深度強化學習這個名稱,之后在Nature上發表了改進版的文章Human-level control through deep reinforcement learning,引起了廣泛的關注,深度強化學習從此成為深度學習領域的前沿研究方向。最近的李世石大戰阿法狗中,阿法狗背后的技術也是深度強化學習,DeepMind將阿法狗背后用到的技術發表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。
3)自然語言理解。自然語言理解也是深度學習在未來幾年能大有作為的領域。使用深度學習技術的各種應用比如神經機器翻譯,問答系統,文摘生成等都取得了不錯的效果,效果的提升主要歸功于注意力機制和循環神經網絡相結合的強大能力。相信未來幾年內還會有大量相關工作出現。
【本文為51CTO專欄作者“大數據和云計算”的原創稿件,轉載請通過微信公眾號獲取聯系和授權】