人工智能的必要條件：深度學(xué)習(xí)模型，大數(shù)據(jù)，算力

作者：Michael Zhang 麥教授

2016年，AlphaGo下圍棋戰(zhàn)勝李世乭，大家都認(rèn)為人工智能的時代到來了。人工智能也是同樣的在一定的歷史契機(jī)下，幾個獨立發(fā)展的領(lǐng)域碰巧合并在一起就產(chǎn)生了巨大的推動力。這一波人工智能發(fā)展的三個必要條件是：深度學(xué)習(xí)模型，大數(shù)據(jù)，算力（并行計算）。

深度學(xué)習(xí)模型

AlphaGo用的機(jī)器學(xué)習(xí)模型是深度學(xué)習(xí)教父杰佛瑞·辛頓（Geoffrey Hinton）在1986年開始倡導(dǎo)，并在2010年取得重大突破的。

2012年的夏天，64歲的辛頓離開了他在多倫多附近的家，成為了谷歌的一名實習(xí)生。他領(lǐng)到了一頂縫有“Noogler”（意思是：谷歌新員工，New Googler的縮寫）字樣的螺旋槳小帽，并參加了主要由80后、90后組成的迎新會。年輕的Nooglers不會認(rèn)出他來，因為辛頓幾十年來一直在默默研究神經(jīng)網(wǎng)絡(luò)的算法。用他的話說，這些年輕人似乎把他當(dāng)成了“老年低能兒”（有沒有想起羅伯特·德尼羅的電影《實習(xí)生》？）。

谷歌之所以要請他，是因為他的深度學(xué)習(xí)算法模型打破了機(jī)器學(xué)習(xí)幾乎所有領(lǐng)域的天花板。人工智能最近幾年的突破得益于辛頓過去幾十年的研究，他最初在1986年發(fā)表的論文提出讓機(jī)器像人類的大腦一樣通過神經(jīng)網(wǎng)絡(luò)來做學(xué)習(xí)的模型。但是這個模型在取得初步的成功后，就停滯不前了（缺乏另外兩個要素：數(shù)據(jù)和算力）。大多數(shù)的學(xué)者都背棄了它，而辛頓沒有。

歷史快進(jìn)20年，到了2006年，辛頓的團(tuán)隊取得了突破性進(jìn)展。被重新命名為“深度學(xué)習(xí)（deep learning）”的神經(jīng)網(wǎng)絡(luò)開始在每一項關(guān)鍵任務(wù)中擊敗傳統(tǒng)的人工智能，如語音識別、描述圖像和生成自然可讀的句子等等。這些算法支撐著從自動駕駛汽車、虛擬助手到搜索引擎推薦的后端技術(shù)。

近幾年，谷歌、Facebook、微軟、BAT、抖音等所有科技巨頭都開始了深度學(xué)習(xí)的淘金熱，爭奪世界上極少數(shù)的專家，由數(shù)億風(fēng)險投資支持的深度學(xué)習(xí)創(chuàng)業(yè)公司也如雨后春筍般涌現(xiàn)。這些都是因為辛頓的模型改變了人們做人工智能研究和應(yīng)用的范式。

值得一提的是：辛頓這個家族出了太多的神一樣的人物。

辛頓的曾祖父是喬治·布爾（George Boole），就是就是布爾代數(shù)那個布爾。布爾32歲出版了《邏輯的數(shù)學(xué)分析》（The Mathematical Analysis of Logic），把邏輯和代數(shù)之間的關(guān)系建立起來。他39歲時出版了《思維的規(guī)則》 （ The Laws of Thought ），創(chuàng)立了布爾邏輯和布爾代數(shù)。數(shù)理邏輯這個數(shù)學(xué)分支奠定了現(xiàn)代計算機(jī)的數(shù)學(xué)基礎(chǔ)。

布爾的妻子叫瑪麗·艾佛斯特（Mary Everest），珠穆朗瑪峰（Mount Everest）英文名字就是以瑪麗的叔叔，曾任印度大地測量局總測量師的喬治·艾佛斯特（George Everest）而命名的。布爾最小的女兒艾捷爾·麗蓮·伏尼契 （EthelLilian Voynich）寫出了偉大的作品《牛虻》（The Gadfly）。

布爾長女瑪麗·愛倫（Mary Ellen） 這一支更是名人輩出，愛倫和數(shù)學(xué)家Charles Howard Hinton結(jié)婚。愛倫的孫女（辛頓的姑姑）Joan Hinton中文名寒春（名字就是Hinton的音譯），是芝加哥大學(xué)核物理研究所研究生，是費米（Enrico Fermi）的學(xué)生，楊振寧、李政道的同學(xué)，也是參與了曼哈頓計劃的極少數(shù)的女科學(xué)家之一。

1953年，美國的《真相》雜志報道稱曾參與過美國曼哈頓計劃的女物理學(xué)家寒春（Joan Hinton）突然失蹤而后在北京露面。作者（是個后海軍上將）懷疑寒春向中國透露了美國的原子彈秘密，甚至可能協(xié)助中國政府發(fā)展了原子彈計劃。寒春其實是厭惡了原子彈對人類的傷害而選擇逃離到中國，她認(rèn)為中國最缺的是牛奶，于是選擇幫中國推進(jìn)科學(xué)養(yǎng)牛和農(nóng)業(yè)機(jī)械化。她是第一位獲得中國綠卡的外國人，2010年在北京去世。

和寒春一樣，辛頓也厭倦了美國軍方開發(fā)大規(guī)模殺傷武器，1980年代就離開了卡耐基梅隆大學(xué)（CMU）到加拿大的多倫多大學(xué)專心做人工智能研究。2010年，63歲的他發(fā)表的深度神經(jīng)網(wǎng)絡(luò)AlexNet對機(jī)器學(xué)習(xí)各個領(lǐng)域都起到巨大的推動作用。2018年，他和自己的學(xué)生和合作者一起獲得了計算機(jī)科學(xué)的最高獎“圖靈獎”。

人工智能的大數(shù)據(jù)

辛頓的深度學(xué)習(xí)算法摧枯拉朽般地推進(jìn)了機(jī)器學(xué)習(xí)的各個子領(lǐng)域。大眾意識到這個算法的威力是在2012年。

2012年，語音識別還遠(yuǎn)未達(dá)到完美。這些系統(tǒng)通常使用隱藏馬爾可夫模型（HMM）或高斯混合模型（GMM）來識別語音中的模式。辛頓等人在2012年發(fā)表的一篇開創(chuàng)性論文表明，深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)明顯優(yōu)于之前的這些模型。

2012年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC），是將深度神經(jīng)網(wǎng)絡(luò)用于圖像識別的一個決定性時刻。辛頓和他的學(xué)生亞歷克斯·克里澤夫斯基（Alex Krizhevsky），還有伊爾亞‧蘇茨克維（Ilya Sutskever）共同發(fā)表了一個被稱為“AlexNet”的卷積神經(jīng)網(wǎng)絡(luò)（CNN），將ImageNet視覺識別上現(xiàn)有的錯誤率降低了一半，達(dá)到15.3%，比第二名低了10.8個百分點。

為什么之前看不出來這個算法的威力呢？原因很簡單，之前研究者們沒有大規(guī)模的訓(xùn)練人工智能的數(shù)據(jù)。在小規(guī)模數(shù)據(jù)上，深度學(xué)習(xí)的算法并沒有很強(qiáng)的優(yōu)勢。

圖中可以看到，傳統(tǒng)的算法會遇到一個瓶頸，數(shù)據(jù)規(guī)模再大也沒有辦法提高了。但是深度學(xué)習(xí)可以隨著數(shù)據(jù)規(guī)模提升而持續(xù)提高算法的表現(xiàn)。

這個計算機(jī)視覺比賽用的大規(guī)模數(shù)據(jù)ImageNet來自于斯坦福大學(xué)教授李飛飛的研究。她有很強(qiáng)的連接不同領(lǐng)域之間關(guān)系的洞察力。她的計算機(jī)視覺同行們那時在研究計算機(jī)感知和解碼圖像的模型，但這些模型的范圍都很有限，他們可能會寫一個算法來識別狗，另一個算法來識別貓。

李飛飛懷疑問題不是出在模型上而是出在數(shù)據(jù)上。如果一個孩子可以通過觀察無數(shù)的物體和場景來學(xué)會識別物體，那么計算機(jī)也許也可以用類似的方式，通過分析大規(guī)模的各種各樣的圖像和它們之間的關(guān)系來學(xué)習(xí)。但是這樣就要求訓(xùn)練模型時，有大量的打好標(biāo)簽的圖片，告訴計算機(jī)圖片里的物體都是什么。在一個有百萬甚至千萬張圖片的數(shù)據(jù)庫中標(biāo)記每張圖片上所有的物體是一個巨大的體力活。

2007年在普林斯頓大學(xué)擔(dān)任助理教授的李飛飛提出了她對ImageNet的想法時，很難得到同事們的幫助，因為那時大家只是習(xí)慣于用幾百到幾千張圖片的數(shù)據(jù)庫。有人評論說：“如果連一個物體都識別不好，為什么還要識別幾千個、幾萬個物體？”

李飛飛嘗試給普林斯頓的學(xué)生支付每小時10美元的工資來打標(biāo)簽，但進(jìn)展緩慢。后來有學(xué)生跟她提到了亞馬遜人力外包Amazon Mechanical Turk，突然間，她可以用極低的成本雇傭許多人來打標(biāo)。2009年，李飛飛的團(tuán)隊集齊了320萬張（后來增加到1500萬張）打過標(biāo)的圖片，他們發(fā)表了一篇論文，同時還建立了開放的數(shù)據(jù)庫。

起初，這個項目幾乎沒有受到關(guān)注。后來團(tuán)隊聯(lián)系了次年在歐洲舉行的計算機(jī)視覺競賽的組織者，并要求他們允許參賽者使用ImageNet數(shù)據(jù)庫來訓(xùn)練他們的算法。這就成了ImageNet大規(guī)模視覺識別挑戰(zhàn)賽。

歷年來ImageNet挑戰(zhàn)賽的參賽者在科技界的每個角落都能找到。2010年大賽的第一批獲獎?wù)吆髞碓诠雀琛俣群腿A為擔(dān)任了高級職務(wù)。基于2013年ImageNet獲獎算法創(chuàng)建的Clarifai公司后來獲得了4000萬美元的風(fēng)險投資支持。2014年，牛津大學(xué)的兩位研究人員獲得冠軍，他們很快被谷歌搶走，并加入了其收購的DeepMind實驗室。

這個數(shù)據(jù)庫突然激發(fā)了深度學(xué)習(xí)的潛能，讓人們意識到數(shù)據(jù)的規(guī)模有時比模型的效率更重要，之前人們總是糾結(jié)在小規(guī)模數(shù)據(jù)上一點一點的推進(jìn)算法準(zhǔn)確性，而ImageNet和AlexNet讓大家看到了數(shù)據(jù)規(guī)模能給人工智能帶來的變革。到了2017年，也就是比賽的最后一年，計算機(jī)識別物體的錯誤率已經(jīng)從2012年的15%降到了3%以下。2020年，很多算法都可以把錯誤率降低到2%以下了。

算力（并行計算）

所謂深度神經(jīng)網(wǎng)絡(luò)，說的是神經(jīng)網(wǎng)絡(luò)有好多層，每一層又有好多節(jié)點，為了計算最優(yōu)的模型，要做非常大量的計算。這個方法以前不流行的原因就是它計算量太大了。在處理小規(guī)模數(shù)據(jù)時，深度學(xué)習(xí)的正確率并不比別的簡單模型高，但是計算量大很多，于是并不討喜。在2010年前后，隨著并行計算越來越容易做了，這個計算量的瓶頸突然就變得不那么重要了，于是人工智能的三個必要條件就湊齊了。

并行計算可以大幅加快計算的速度。傳統(tǒng)的有十幾個內(nèi)核的CPU（中央處理單元）可以同時處理十幾個互相獨立的運算工作。而GPU（圖形處理單元）本來是用來給圖形顯示加速的，當(dāng)需要計算復(fù)雜的圖形的光影時，可以通過GPU上千的內(nèi)核來做并行處理，從而大幅加快計算速度。

GPU并不適合所有的加速場景，我們遇到的很多問題是串行的，就是一個計算結(jié)束之后得到了結(jié)果才可以進(jìn)入下一個計算，這樣的場景還是CPU比較高效率。但是有些場景，各個計算之間相互獨立，并不需要等待，而深度學(xué)習(xí)的算法恰恰就符合了這個特性。有人做過一個簡單的對比，CPU就和古代軍隊里的將軍一樣，適合遇到串行問題時單打獨斗；但是GPU就像士兵一樣，適合在遇到并行問題時一擁而上。深度學(xué)習(xí)算法是個并行計算可以解決的問題，于是一拍即合，GPU并行計算的算力被大量應(yīng)用于人工智能需要加速的場景。

制作GPU芯片的英偉達(dá)公司的股價也一飛沖天，從2016年到現(xiàn)在股價已經(jīng)翻了20倍。之后人們?yōu)槿斯ぶ悄苡嬎阌謱ｉT研制了更好的協(xié)處理器，如TPU 或 NPU，處理AI算法的效率更高。

GPU的重要性當(dāng)然也和區(qū)塊鏈、比特幣的發(fā)展有關(guān)。區(qū)塊鏈里面的Proof of Work就需要很多相互獨立的計算，也是GPU可以大展身手的領(lǐng)域。