AI 初學者入門指南:深度學習的五級分類
目前 AI 被籠統(tǒng)劃分為“弱人工智能”、“強人工智能”、“超人工智能”三個類別。甚至在很多業(yè)內專家(比如洪小文)眼中,只有“強”、“弱”AI 的區(qū)別,因為“超人工智能”離我們實在還很遠,難以捉摸。這樣的籠統(tǒng)分類顯然不利于大眾對于各項 AI 技術進行認識和理解。因此,一些專家開始提出基于技術難度和 AI 智能水平的分類、分級方法。
其中,美國學者 Arend Hintze 提出了對 AI 的四級分類, 而最近,Intuition Machine 聯(lián)合創(chuàng)始人 Carlos Perez 又提出了針對深度學習的五級分類。這些分類方法對各層次 AI 技術進行了簡單的歸類,有助于初學者更好地認識 AI 。
上個月,密歇根州立大學副教授 Arend Hintze 發(fā)表了一篇很有價值的短文章《理解 AI 的四種類別:從響應式機器到有自我意識的存在》( “Understanding the four types of AI, from reactive robots to self-aware beings” )。文中,他提出了對 AI 的四級分類:
響應式
這是最基本的 AI 類型,無法產(chǎn)生記憶,不能利用過去的經(jīng)驗做決策。它們是“專才”而非“通才”,為完成特定任務所設計,不能勝任其他任務。
有限記憶
當前行為能夠參考剛剛發(fā)生的事件。但記憶是瞬時的——無法用于未來決策。
心智理論( Theory of mind)
這是一個心理學術語,意思是能根據(jù)他人行為,推導、并理解他們的想法和動機。這一類型的 AI 能夠歸納出周圍環(huán)境、和與之交互的其他代理的“表征”( representations,AI 術語,詳見“表示學習”)。
自我意識
AI 的終極課題。目前對于它的描述大都是猜想。
對此,AI 專家 Carlos Perez 表示,他喜歡這個四分類法遠遠超過目前廣泛使用的“強人工智能 vs 弱人工智能”二分類法(ps:或者再加上“超人工智能”成為第三個類別)。Arend Hintze 的方法把弱 AI 分為三個類別(響應式,有限記憶,心智理論),這給了我們更多概念,來區(qū)分不同的 AI 應用。但 Carlos Perez 又評論道,該分類法似乎來自于 “GOFAI” 思路(老式 AI),潛臺詞是它已經(jīng)過時了;另外,從有限記憶、能夠使用部分過去記憶做決策到心智理論,這步子邁得太大了。
于是,Carlos Perez 提出了他自己的 AI 分類方式,按能力把 AI 劃分為五個級別。他表示,該分類法主要針對深度學習,希望對 AI 從業(yè)者來說更細致、更有用。它能幫我們看清楚 AI 目前在哪個階段,以及將來會走向何方。
Perez 表示:“對當前 AI 技術進行評估,我們缺少一個好的概念框架。這可能只是由于大多數(shù) AI 評論人無法跟上最新的深度學習進展——需要讀的東西太多,而且最新發(fā)現(xiàn)不停刷新我們現(xiàn)在對 AI 的理解。”
我們來看看 Perez 針對深度學習能力的 AI 分類:
1. 只能分類的系統(tǒng)(ANNs/DL) Classification Only
該級別包含全連接神經(jīng)網(wǎng)絡( fully connected neural network ,F(xiàn)CN),卷積神經(jīng)網(wǎng)絡(convolution network,CNN)和它們之間的各種組合。這些系統(tǒng)把一個高維度矢量作為輸入,得到單個結果,一般是對輸入矢量的分類。
你可以把這些系統(tǒng)看成無狀態(tài)函數(shù),意味著它們的行為只是一個針對當前輸入的函數(shù)。一個熱門研究領域——生成模型,就屬于該類別。簡單來講,這些系統(tǒng)憑它們自己是十分強大的。
2. 使用記憶分類的系統(tǒng) Classification with Memory (CM)
這個級別包含 “C 層”網(wǎng)絡中整合的記憶因素。LSTM 就是一個例子:記憶單位嵌入在 LSTM 節(jié)點中。其它類似的變形還有,神經(jīng)圖靈機器 (NMT) 和 DeepMind 的可微分神經(jīng)計算機(DNC)。在對行為進行計算時,這些系統(tǒng)會維持狀態(tài)恒定。
3. 使用知識分類的系統(tǒng) Classification with Knowledge (CK)
該級別與 CM 有些相似。但 C 層網(wǎng)絡能獲取的信息不是原始內存,而是符號化的知識庫(symbolic knowledge base)。我們獲知,事實上 Carlos Perez 就發(fā)現(xiàn)了三種符號化整合:1. 轉移學習方式( transfer learning approach);2. 自上而下方式 ;3. 自下而上方式。第一種方式用一個符號化系統(tǒng)作為正則化矩陣(regularizer)。第二種方式在神經(jīng)表征底層的最上層加入了符號化元素。第三種方式跟這相反,C 層網(wǎng)絡直接與符號化知識庫關聯(lián)。
4. 使用有限知識的分類 Classification with Imperfect Knowledge (CIK)
在這個級別,系統(tǒng)直接建立在 CK 之上,但是,它已能夠使用不完美的信息做推理。這類系統(tǒng)的代表是 Alpha Go。只是 Alpha Go 采用的不是 CK 而是 CM 級別的能力。正如 Alpha Go,這類系統(tǒng)能通過與自身的對抗模擬來訓練自己。
5. 能使用有限知識協(xié)作分類的系統(tǒng) Collaborative Classification with Imperfect Knowledge (CCIK)
這個級別和 Arend Hintze 的“心智理論”類別十分近似,多個代理神經(jīng)網(wǎng)絡聯(lián)合起來解決問題。這些系統(tǒng)被設計來完成多項目標。我們其實可以在對抗網(wǎng)絡中運行它的原始版本:與判別器和生成網(wǎng)絡一起學習歸納。在博弈論驅動的、能戰(zhàn)略戰(zhàn)術性解決多重問題的網(wǎng)絡上應用該概念,就能得到高度靈活的系統(tǒng)。但是,我們現(xiàn)在還達不到這個水平,前面那些級別仍需要很多研究來完善。
Perez 五級分類法的根據(jù):
每一層級別,都帶來了上個級別沒有的新能力。 比方說,C 層系統(tǒng)只能預測反因果關系(anti-causal relationships)。 CM 級別的系統(tǒng)能完成不錯的翻譯。CIK 級別系統(tǒng)能玩戰(zhàn)略游戲。
我們可以看出,除了沒有“自我意識”級別,這個分類法和 Hinzte 四級分類高度相似。在這些“基礎”級別全部達到之前,Carlos Perez 不準備探討自我意識。這個分類同樣沒有提到零樣本學習(zero-shot learning)、一步學習(one-shot learning)或者無監(jiān)督學習。據(jù)悉,后者仍然是 AI 基礎挑戰(zhàn)之一。正如 大牛 Yann LeCun 所形容:
“假設機器學習是一個蛋糕,強化學習是蛋糕上的一粒櫻桃,監(jiān)督學習是外面的一層糖衣,無監(jiān)督學習則是蛋糕糕體。我們知道怎么做糖衣和櫻桃,但不知道怎么把糕體做出來。”
在最近的演講里,Yann LeCun 開始用預測學習(predictive learning)來替代無監(jiān)督學習。這是一個很有意思的轉變:它展示出 LeCun 在如何做蛋糕這個問題上,觀點發(fā)生了微妙變化。在他眼里,這是 AI 技術大幅進步所必需的基礎。換句話說,在建設好預測學習的地基之前,在現(xiàn)有監(jiān)督學習的基礎上加入更多記憶、知識庫、協(xié)作代理這些能力會十分困難。
在最近的 NIPS 2016 大會上,LeCun 展示了這幅 PPT:
這列出了 AI 進步的主要障礙:
機器需要學習世界運作的方式
AI 要學習海量背景知識
機器需要能夠感知環(huán)境的狀況
機器需要更新并記憶環(huán)境的狀況
機器需要學習和計劃
智能和常識等于:感知+預測模型+記憶+推理和計劃
這些能力在反饋回路里用到時,都利用了加速器技術。我們其實在現(xiàn)在的研究中看到過這類元學習(meta-learning)或是學習優(yōu)化(learning to optimize)。元學習技術帶來的主要啟示是:當我們能訓練機器找出用其它方法找不出的解決方案,研究方法會變得更強大。