為了讓初學者了解AI，以下列出六個值得注意的AI領域，并描述它們是什么、為什么它們是重要的、它們今天如何使用，以及研究它們的公司。

[[184083]]

1.強化學習( Reinforcement learning)

RL是一種通過試探而學習的范式，受人類學習新任務的啟發。在典型的RL設置中，AI被賦予在數字環境中觀察其當前狀態的任務，從環境接收每個動作的結果并給予激勵反饋，使得其知道動作是否促進或阻礙其進展。因此，AI必須找到***的獲得獎勵策略。谷歌旗下的DeepMind便使用了這種方法。在現實世界中，RL的一個例子是優化冷卻Google數據中心能效的任務，一個RL系統實現了減少40%的冷卻成本。在可以模擬的環境(例如視頻游戲)中使用RL的優點是，訓練數據可以以非常低的成本生成。這與監督深度學習任務形成鮮明對比，這些任務通常需要昂貴且難以從現實世界獲取的訓練數據。

應用范圍：多個AI在自己的環境中學習或互動，在相同的環境中互相學習，學習導航的3D環境，如迷宮或城市街道的自動駕駛，逆強化學習來概括觀察到的行為通過學習任務的目標(例如學習駕駛)。

公司：谷歌DeepMind，Prowler.io，Osaro，MicroPSI，Maluuba /微軟，NVIDIA，Mobileye。

2.生成模型

與用于分類或回歸任務的判別模型相反，生成模型在訓練示例上學習概率分布。通過從這種高維分布中抽樣，生成模型輸出與訓練數據類似的新示例。這意味著，例如，在面部的真實圖像上訓練的生成模型可以輸出類似面部的新的合成圖像。有關這些模型是如何工作的，可以參照伊恩·古德費洛的真棒NIPS 2016教程。他介紹了該體系結構，生成對抗網絡(GANs)，提供了對無監督的學習路徑。GANs有兩個神經網絡：一個發生器，它接受隨機噪聲作為輸入，其任務是合成的內容(例如，圖像);一個鑒別器，它已經學會真實圖像長什么樣，任務是識別圖像是真的還是假的。對抗訓練可以被認為是一種游戲，機器必須迭代地學習如何使鑒別器不再能夠區分所生成的圖像和真實圖像。這個框架正在擴展到許多數據模式和任務。

應用范圍：模擬一個時間序列的可能的未來(如在強化學習計劃任務); 超分辨率圖像 ; 將2D圖像恢復成三維結構 ; 從小標簽數據集中進行歸納; 一個輸入可以產生多個正確的輸出(如預測視頻的下一幀 ;創建用在會話接口的自然語言; 當不是所有的標簽都可以半監督學習時; 藝術風格轉移 ; 合成音樂，聲音 。

公司：Twitter，Adobe，蘋果，Prisma，Jukedeck，Creative.ai，Gluru，Mapillary，Unbabel。

3.具有記憶存儲的網絡

為了使AI系統在多樣化的現實世界環境中推廣，他們必須能夠不斷地學習新的任務，并記住如何在未來執行所有的任務。然而，傳統的神經網絡通常不能進行這樣的學習，這個缺點被稱為災難性的遺忘。其發生是因為當網絡被訓練以解決任務B時，網絡中對于解決任務A的權重會發生改變。

然而，有幾個強大的架構，可以賦予神經網絡不同程度的記憶，包括長短期記憶網絡(一個經常性的神經網絡的變體)，它能夠處理和預測時間序列。DeepMind的微神經計算機，結合神經網絡和存儲系統，便能學習和瀏覽自己的復雜數據結構。

應用范圍：可推廣到新的環境中學習; 機器人臂控制任務; 自動駕駛; 時間序列預測(例如金融市場，視頻，物聯網); 自然語言理解和下一詞預測。

公司：谷歌DeepMind，NNaisense，SwiftKey /微軟研究院，Facebook的AI研究。

4.用更少的數據學習和建立更小的模型

深度學習模型值得注意的是需要大量的訓練數據。如果沒有大規模的訓練數據，深度學習模型將不會收斂到它們的***設置，并且在諸如語音識別或機器翻譯的復雜任務上效果不佳。這種數據要求僅在使用單個神經網絡來端到端地解決問題時增長，比如將語音的原始音頻記錄作為輸入并輸出語音的文本轉錄。

如果我們希望AI解決訓練數據少、貴、耗時的問題，那么開發可以從較少的示例(即一個或零開始的學習)學習***解決方案的模型。當對小數據集進行培訓時，挑戰包括過度擬合，處理異常值的困難，訓練和測試之間的數據分布的差異。另一種方法是遷移學習。

應用范圍：通過學習培訓淺網絡模仿深層網絡的性能，最初接受大型標記的訓練數據; 用較少的參數，但同等性能深模型架構(如SqueezeNet); 機器翻譯。

公司：Geometric Intelligence/Uber，DeepScale.ai，微軟研究院，谷歌，Bloomsbury AI。

5.用于訓練的硬件

AI進步的主要催化劑是圖形處理單元(GPU)的重用以訓練大神經網絡模型。不同于以順序方式計算的中央處理單元(CPU)，GPU提供一個大規模并行架構，可以同時處理多個任務。考慮到神經網絡必須處理大量(通常是高維數據)，在GPU上的訓練比CPU快得多。這就是為什么NVIDIA能在近年大熱。

然而，GPU不是專門用于訓練AI的，它們的出現是為了渲染視頻和游戲圖形。GPU具有的高計算精度并非必要，并且存在存儲器帶寬和數據吞吐量問題。這為創業公司帶來了機會——創造專門為高維機器學習應用設計的芯片。通過新的芯片改善更大的內存帶寬，具有更高的計算密度，效率和每瓦性能。借此實現：更快、更有效的模型訓練→更好的用戶體驗→用戶與產品快速迭代→創建更大的數據集→通過優化提高模型的性能。

應用范圍：快速訓練模型(尤其是在圖形上); 做預測時提高能量和數據效率; 運行AI系統的IoT設備; IaaS;自動駕駛，無人機和機器人。

公司：Graphcore，Cerebras，Isocline Engineering，谷歌(TPU)，NVIDIA(DGX-1)，Nervana系統(英特爾)，Movidius(英特爾)，Scortex

6.仿真環境

如前所述，為AI系統生成訓練數據通常是具有挑戰性的。更重要的是，AI必須推廣到許多情況下才能在現實世界中有用。因此，開發模擬現實世界的物理和行為，將為我們提供訓練AI的良好環境。這些環境將原始像素呈現給AI，然后AI執行動作以便解決他們已經設置(或學習)的目標。在訓練中，這些仿真環境可以幫助我們理解的AI系統如何學習，如何提高他們，但也為我們提供了模型，可以潛在地轉移到現實世界的應用。

應用范圍：學習駕駛 ; 制造業; 工業設計; 游戲開發; 智能城市。