深度學習：幾何視角

關于深度學習最令人吃驚的事實莫過于它的簡單程度。10 年前，沒人想到我們會使用簡單的梯度下降參數模型在機器認知領域取得如此卓越的成績。現在，只需要在足夠多的樣本上用梯度下降方法訓練出足夠大的參數模型即可。正如費曼曾經說的：「宇宙并不復雜，它只是由若干個宇宙組成而已。」

在深度學習領域，一切都只是向量，即一切都是幾何空間中的點。模型輸入（可以是文本、圖像等）和目標都要首先進行向量化，即轉換成原始輸入向量空間和目標向量空間。深度學習模型的每一層對其中的數據進行簡單的幾何變換。多個層就形成一個非常復雜的幾何變換，可以被拆解成多個簡單的幾何變換。這一復雜的幾何變換嘗試在輸入空間和目標空間之間建立映射關系，一次對應一個點。該變換通過各層的權重被參數化，并根據該模型當前的運行狀況迭代更新。該幾何變換的關鍵特征是它必須可微，以使我們能夠通過梯度下降學習它的參數。直觀來看，這意味著從輸入到輸出的幾何變形必須持續連貫，這也是一個很大的約束。

將該幾何變換應用到輸入數據中的整個過程可以通過想象人撫平紙球實現 3D 可視化：弄皺的紙球代表模型開始時的大量輸入數據，人在紙球上的每一個動作相當于每一層做出的簡單的幾何變換。全部的撫平動作就是整個模型的復雜幾何變換。深度學習模型就是撫平復雜大量的高維數據的數學機器。

這就是深度學習的魔力：將意義轉換成向量和幾何空間，然后逐漸學習復雜的幾何變換，把一個空間與另一個空間建立映射關系。你只需要足夠高維的空間來獲取原始數據中所有關系。

深度學習的局限

這一簡單策略可以應用的空間近乎無限。但是，更多的應用完全無法使用當前的深度學習技術，即使擁有海量人工標注數據。例如，你可以收集一個數據集，包含幾十萬甚至幾百萬軟件特征英文說明和工程師團隊為滿足這些要求開發的對應源代碼。但即使有了這些數據，你仍然無法訓練一個深度學習模型，使之讀取產品說明之后即可輸出對應的代碼庫。這只是無數例子中的一個。一般來說，要求推理的所有事物，如編程、應用科學方法進行長期規劃，以及與算法類似的數據操作，都不適合使用深度學習模型，不管你有多少數據。即使是用深度神經網絡學習排序算法也非常困難。

這是因為深度學習模型「只是」一串簡單、持續、將一個向量空間映射到另一個向量空間的幾何變換。假設從 X 到 Y 的轉換是持續且可學習的，X:Y 的大量樣本可用作訓練數據，那么該幾何變換只能將一個數據流形 X 映射到另一個數據流形 Y。因此，即使一個深度學習模型可以被理解為一種程序（反過來大部分程序不能說是深度學習模型），對于大多數任務而言，要么沒有合適規模的深度神經網絡，要么即使有，該網絡也是不可學習的，即對應的幾何變換可能過于復雜，或無法獲取合適的數據來學習該網絡。

通過疊加更多層、使用更多訓練數據來提升當前的深度學習技術治標不治本，無法解決深度學習模型的一個更基本的問題，即深度學習模型能夠表示的范圍非常局限，多數你希望可以學習的程序都不能被表達為對數據流形持續的幾何變形。

機器學習模型擬人化的風險

當前 AI 發展中一個非常真實的風險是對深度學習模型的誤解和對其能力的高估。人類思想的基本特征是「心智理論」（theory of mind），即我們能夠理解周圍人意圖、信仰和知識的能力。在石頭上畫笑臉立刻就可以讓我們的大腦覺得「快樂」。如果將其引申到深度學習領域，這意味著當我們成功地訓練出一個給圖片添加說明的模型，我們傾向于相信該模型「理解」圖片內容和它生成的內容。之后，當輸入的圖片與訓練數據中的圖片類型稍有不同，我們將驚訝地發現該模型輸出的圖片說明非常離譜。

??

[[197939]]

這種情況在使用對抗實例時尤甚。對抗實例指設計出用來混淆深度學習網絡的輸入實例。你已經意識到，在輸入空間進行梯度下降有可能生成使 convnet 篩選器活性最大化的輸入樣本。類似地，通過梯度下降，你可以稍微修改圖像以使對給定類別的分類預測最大化。給熊貓拍一張照片，并添加梯度「長臂猿」，然后我們就可以得到一個把這只熊貓當作長臂猿的神經網絡。這說明了模型的脆弱性，以及模型運行的輸入-輸出映射和人類的認知存在巨大不同。

??

簡而言之，深度學習模型完全不理解輸入樣本，至少不具備人類的認知能力。我們對圖像、聲音和語言的理解來自于我們作為人類的感覺動作經驗（sensorimotor experience）。機器學習模型無法獲取此類經驗，因此無法以人類的方式「理解」輸入樣本。標注大量訓練實例并輸入到模型中，模型將學會把數據映射到人類對該特定樣本集的概念的幾何變換，但是該映射只是對我們頭腦中原始模型過分簡單化的表達，是從我們的經驗中開發出來的具身智能體，像真人在鏡子里面模糊的影子。

作為一名機器學習實踐者，我經常提醒自己不要跌進神經網絡理解其所執行任務的陷阱。它們不能理解，至少理解的方式與人類不同。它們訓練的基礎與我們想要教給它們的任務不同，且更加狹窄：將訓練中的輸入樣本點對點地映射到目標樣本。一旦給它們任何與訓練數據不同的數據，它們就會輸出荒謬的結果。

局部泛化 VS 極端泛化

深度學習模型中從輸入到輸出的直接幾何變形與人類的思考和學習方式存在根本區別。這種區別不在于人類通過具身化的經驗自學，而非經過明確的訓練樣本的訓練而習得。除了不同的學習流程以外，二者的底層表示也存在本質區別。

人類的能力遠遠不止將直接刺激映射到直接反應，像深度網絡或一只昆蟲做到的那樣。人類對自己或他人的當前處境有一個復雜、抽象的模型，這些模型可用于預測未來不同的可能性并執行長期規劃。他們能夠整合已知概念，來呈現他們從未體驗過的事情，比如畫一匹穿著牛仔的馬，或者想象中彩票后的行為。這種處理假設的能力將我們的心理模型空間擴展到遠超我們可以直接體驗的范疇，也就是說，抽象化和推理可以說是人類認知的定義性特征。我將其稱為「極端泛化」：一種使用非常少的數據甚至不使用數據來適應全新的、之前從未體驗過的情形的能力。

這與深度神經網絡的模式存在巨大不同，后者我稱之為「局部泛化」：一旦新的輸入與模型訓練時遇到的數據稍有不同，深度網絡執行的從輸入到輸出的映射很快就會停止。比如，學習合適的發射參數使火箭順利登月。如果你使用深度網絡應對該任務，那么不管使用監督學習還是強化學習來訓練，你仍然需要進行數千次甚至幾百萬次發射試驗，即你需要給模型的輸入空間提供大量樣本，來學習可靠的輸入空間與輸出空間的映射。與之相反的是，人類能夠使用自己抽象能力創造物理模型——火箭科學，經過一次或幾次試驗之后即可獲得精確解。類似地，如果你開發一個深度網絡來控制人類身體，想讓它學會在不撞車的情況下安全穿過城市，那么該網絡在推斷出車輛很危險并培養出合適的躲避行為之前，會死無數次。當它進入一個新城市時，它必須重新學習它已經了解的大部分數據。然而，人類能夠在一次都不死的情況下學習安全行為，同樣地，這多虧了他們對假設情形的抽象建模能力。

??

總之，盡管我們在機器認知領域取得很大進步，但是人類水準的 AI 離我們仍然非常遙遠：我們的模型只能執行局部泛化，適應與以往數據非常接近的新情形，而人類認知能夠進行極端泛化，快速適應全新情況，或者對很久以后的事情進行規劃。

結語

你應該記住：深度學習目前唯一真正的成功是具備在擁有大量人類標注數據的情況下，使用持續的幾何變換在 X 空間與 Y 空間之間建立映射的能力。把這件事做好就可以從根本上變革每個行業，但是我們離人類水準的 AI 仍有很大距離。

要想解決這些局限，使 AI 可以與人類大腦競爭，我們需要將目光從直接的輸入-輸出映射上移開，去關注推理和抽象。適合多種情況和概念的抽象建模基質可能就是計算機程序的抽象建模能力。我們之前說過機器學習模型是「會學習的程序」；現在我們所了解的程序僅是所有程序的非常狹窄的特定子集。但是，如果我們能夠用一種模塊化和可重用的方式學習任何程序，又會怎么樣呢？這或許就是未來 AI 的發展方向。