雄心勃勃的 DeepMind，要在深度學習網絡和傳統算法之間架橋了！

　　眾所周知，經典算法是使軟件能夠風行世界的原因，但這些算法所使用的數據并不總是能反映真實世界。

　　而深度學習是當今 AI 應用的源動力，但深度學習模型需要重新訓練，才能應用于最初設計的領域。

　　現在，DeepMind 想開創一條新路，他們要找到一種深度學習模型，模仿任何經典算法，并在現實世界實現功能。

[[428875]]

只用一個算法，統治一切！

　　近年來，DeepMind 因 AI 領域的一些標志性成就而屢上頭條。AlphaGo 打破人類選手對圍棋的統治，AlphaFold 解決了生物學領域 50 年來的大難題。

　　現在，DeepMind 將目光投向另一個重大挑戰：將深度學習與計算機科學經典算法聯系起來。

　　經典算法和深度學習網絡的本質不同

　　要實現這個目標，首先要理解二者的主要區別。即：經典算法和深度學習網絡的性質有什么不同？

[[428876]]

[[428877]]

　　DeepMind 的兩位研究人員 Charles Blundell 和 Petar Veličković專門談了這個問題。他們都在 DeepMind 擔任高級研究職位。

　　他們認為，二者之間的主要區別在于「泛化性」和「最優解」問題。

　　Blundell 表示，第一，算法在大多數情況下不會改變。算法由一組固定的規則組成，這些規則在某些輸入上執行。對于算法獲得的任何類型的輸入，算法都會在合理的時間內給出合理的輸出。更改輸入的大小，算法會繼續工作。

　　第二，算法可以串連在一起。算法的性質決定了：給定某種輸入，只產生某種輸出。我們可以把一個算法輸出作為其他算法的輸入，構建一個完整的堆棧。

　　即使是簡單任務，要用深度學習來完成算法的工作也很困難。比如一個最簡單的任務：復制文本。輸出為輸入的本文復制。

　　這么簡單的任務，要深度學習完成就很麻煩。如果只在1-10 個字符長度上進行訓練，那么當任務字符長度超出時，輸出就會出問題，因為它學不會算法中的核心思想。

　　如果任務再復雜一點，比如涉及排序，訓練神經網絡的性能會更差。而這對于傳統意義上的算法來說根本不是問題。

　　總結一下就是：

　　深度學習網絡的泛化性能很差，但在充分訓練的特定問題上，往往比算法產生更優化的結果。

　　傳統算法是可泛化的。改變輸入數據的大小和類型，原來可用的算法程序依然可用。但算法有時產生的結果可能不是最優的。

　　怎么同時解決這兩個問題，同時獲得算法和深度學習的優勢？

　　神經算法推理：一個算法，統治一切！

　　Blundell 和 Veličković提出了一個方向：神經算法推理（NAR）。

　　NAR 關鍵點是，通過用深度學習方法更好地模仿算法，讓深度學習實現算法的高度可泛化性，同時保留對問題的最優解。

　　DeepMind 已經選擇和谷歌地圖 APP 進行合作，將圖網絡作為 NAR 的試驗場。他們利用谷歌地圖的圖網絡數據，對用戶旅行時的到達時間進行預測。相關論文已經發表。

　　2020 年，谷歌地圖是美國下載量最大的地圖和導航應用，每天有數百萬人在使用。谷歌地圖重要的尋路（Pathfinding） 功能，其背后的技術支持正是 DeepMind 提供的。

　　為何選擇圖網絡模型來做這件事呢？

　　Veličković表示，因為實際上任何對象都可以適用圖表示的框架。

　　「比如圖像，可以看作是由附近的像素組成的圖。文本可以看作彼此相連的一系列目標。更廣泛地說，自然界中沒有被人為設計編排進某個框架或序列的東西，都非常自然地表現為圖結構。」

　　為什么要使用專門應用于深度學習算法的泛化框架，而不僅僅是直接使用機器學習算法？

　　因為他們希望設計能在真正在復雜現實世界中順利運行的解決方案。大規模處理大量自然數據的最佳解決方案就是深度神經網絡。

　　Blundell 對 NAR 研究的未來潛力表示樂觀。

　　「在面向對象的編程中，在對象類之間發送消息，你會發現它完全相似，你可以構建非常復雜的交互圖，然后將其映射到圖神經網絡中。從這種復雜的內部結構中獲得的豐富性，可以學習使用更傳統的機器學習方法不一定能獲得的算法。」Blundell 說。

　　https://venturebeat.com/2021/10/12/deepmind-is-developing-one-algorithm-to-rule-them-all/

　　https://venturebeat.com/2021/09/10/deepmind-aims-to-marry-deep-learning-and-classic-algorithms/

　　https://arxiv.org/abs/2108.11482