五分鐘技術趣談 | 機器學習的前世今生
Part 01
機器學習是什么?
實現人工智能的方法我們稱之為“機器學習”,在1956年的美國達特茅斯會議上,Arthur Samuel正式提出了“Machine Learning”這個概念。機器學習是人工智能的一個重要子領域,它專門研究計算機怎樣模擬或實現人類的學習行為,通過大量的數據和樣本,獲取新的知識或技能,對已有的知識結構進行重組,使之改善自身的性能。通俗的講,就像人類一樣通過學習大量的歷史資料,對這個世界產生一定的認知,從而獲取到新知識,提升自己。
圖1 輸入到輸出的映射圖
最常見的機器學習是一種學習如何從A得到B的人工智能,也就是“輸入”到“輸出”的映射,這種機器學習被稱為監督學習。假設輸入A是一封電子郵件,輸出B表示“是”或“不是”垃圾郵件,那么我們得先訓練一個模型,讓它具有自動識別垃圾郵件的功能。首先我們先將一些郵件及其所具有的標簽,一起輸入模型進行訓練,例如,我們告訴機器第一封是垃圾郵件,第二封不是垃圾郵件,第三封也不是垃圾郵件,以此類推。模型不斷捕捉郵件和這些標簽之間的聯系,進而進行調整和完善,當模型學習的差不多了,人工輸入一些不帶標簽的新郵件,該模型就能夠對新郵件做出判斷是否為垃圾郵件。除此之外,生活中常見的監督學習還有語音識別、無人駕駛、工業質檢等。
圖1 智能家居客訴故障分類
Part 02
神經網絡模型
提到神經網絡,大家第一反應會想到什么呢?是不是想到了中學時期生物課上學過的神經網絡,比如大腦神經網絡中樞,脊柱神經網絡中樞等等。但這里的神經網絡并不是我們生物課上所學的神經網絡,而是人工智能中的神經網絡,也叫做人工神經網絡,它是一種模仿生物神經網絡行為特征,進行分布式并行信息處理的算法數學模型。
圖2 神經元結構圖
人類的大腦神經系統包含了860億個神經元,每個神經元上有上千個突觸與其他神經元相連,神經元可以接受其他神經元的信息,也可以發送信息給其他神經元,神經元越多,層數就越多,構成的神經網絡就越復雜。這樣復雜的生物神經網絡具有強大的功能,使我們可以通過觸覺、聽覺、視覺等來感知這個世界,通過思考來進行決策等等。人工神經網絡不是被憑空創造出來的,而是科學家從中受到了啟發,用數學和計算機模擬的,最初科學家們設計出的人工神經網絡非常簡單,但經過多年的演變發展到了多層的復雜網絡結構,然后從復雜網絡發展到更復雜的人工神經網絡,就像建樓房一樣越建越高,越建越密,但在AI領域中稱之為越來越深。
圖3 神經網絡模型圖
目前為止,幾乎所有由神經網絡創造出的價值都基于一種機器學習,就是上文提到的“監督學習”。在監督學習過程中,輸入“A”,學習得到一個函數,就能映射得到輸出“B”,將這個監督學習過的組件嵌入到更大型的系統中,就能應用在很多人工智能領域。除了相對標準的神經網絡外,還有更深層的神經網絡,但它被賦予了一個全新的名字——深度學習。
Part 03
深度學習
2006年,加拿大多倫多大學教授、機器學習領域泰斗、神經網絡之父—— Geoffrey Hinton 和他的學生 Ruslan Salakhutdinov 在頂尖學術刊物《科學》上發表了一篇文章,該文章提出了深層網絡訓練中梯度消失問題的解決方案:無監督預訓練對權值進行初始化+有監督訓練微調。斯坦福大學、紐約大學、加拿大蒙特利爾大學等成為研究深度學習的重鎮,至此開啟了深度學習在學術界和工業界的浪潮。
最早的神經網絡實際應用時,因訓練速度慢、容易過擬合、經常出現梯度消失以及在網絡層次比較少的情況下效果并不比其他算法更優等原因,實際應用的很少。中間很長一段時間神經網絡算法的研究一直處于停滯狀態。直到Geoffrey Hinton提出了新的解決方法——無監督預訓練對權值進行初始化+有監督訓練微調。其與神經網絡最大的不同點就是不需要標簽數據、有更多的隱藏層,以及自下上升非監督學習,結合自頂向下的監督學習的方式。不僅如此,它還能利用空間相對關系,減少參數數目以提高訓練性能。如卷積神經網絡,長短時記憶網絡,深度殘差網絡等都屬于深度學習,其中深度殘差網絡的深度可以到達1000層,甚至更多。深層的網絡有助于挖掘數據中深層的特征,可以使得網絡擁有更強大的性能。
Part 04
總結
機器學習是一種實現AI的方法,也是一門研究如何實現AI的學科,它最主要的一門技術是深度學習,而深度學習又是在神經網絡的基礎上發展起來的,關系如下圖所示。
圖4 機器學習關系圖
深度學習給機器學習帶來了一個新浪潮,受到從學術界到工業界的廣泛重視。在應用方面,深度學習使得語音圖像的智能識別取得驚人進展。如果未來能在理論、建模方面,突破深度學習技術面臨的一系列難題,將加速推進人工智能發展。