[[374480]]

在12月31日， 智源研究院發布了2020年十大AI進展 。新的一年，人工智能又將走向何處？

2021年開年，全體智源學者經過深入研討，從人工智能的基礎理論、算法、類腦計算、算力支撐等方面進行預測，提出2021年人工智能十大技術趨勢，共同展望人工智能的未來發展方向。

我們相信，隨著人工智能技術的逐漸成熟，將能夠更好地幫助人類應對后疫情時代的各種不確定性，助力構建充滿希望與變化的世界。

趨勢1：科學計算中的數據與機理融合建模

趨勢2：深度學習理論迎來整合與突破

趨勢3：機器學習向分布式隱私保護方向演進

趨勢4：大規模自監督預訓練方法進一步發展

趨勢5：基于因果學習的信息檢索模型與系統成為重要發展方向

趨勢6：類腦計算系統從“專用”向“通用”逐步演進

趨勢7：類腦計算從散點獨立研究向多點迭代發展邁進

趨勢8：神經形態硬件特性得到進一步的發掘并用于實現更為先進的智能系統

趨勢9：人工智能從腦結構啟發走向結構與功能啟發并重

趨勢10：人工智能計算中心成為智能化時代的關鍵基礎設施

下面是十大趨勢概要介紹，關注「智源研究院」公眾號，后臺回復「2021趨勢」即可下載報告全文：

趨勢1：科學計算中的數據與機理融合建模

機器學習與科學計算的結合，即數據和機理的融合計算，為科學研究提供了新的手段和范式，成為了前沿計算的典型代表。從機理出發的建模以基本物理規律為出發點進行演繹，追求簡潔與美的表達；從數據出發的建模從數據中總結規律，追求在實踐中的應用效果。這兩方面的建模方法都在科學史中發揮了重要作用。

近年來，科學計算發展的一個重要趨勢是由單純基于機理或數據的范式向數據與機理的融合建模與計算發展。眾多前沿科學領域中的許多重要問題常常涉及多個發生在不同時空尺度上相互耦合的物理過程，具有高度的各向異性、奇異性、非均勻性以及不確定性等特征。人類只能知道部分原理和數據，此時機理與數據結合的方式將成為研究這些問題的有力手段。

趨勢2：深度學習理論迎來整合與突破

深度學習在應用領域取得了令人矚目的成功，但其理論基礎仍十分薄弱，研究者對深度學習為何表現出比傳統機器學習方法更優越的性能背后存在的機理尚不清楚。深度學習的理論分析需要從數學、統計和計算的不同角度，以及表示能力、泛化能力、算法收斂性和穩定性等多個方面進行探索和創新。當前對深度學習理論碎片式的理解，將進一步迎來整合與突破，從對淺層網絡和局部性質的理解向深度網絡和全局性質不斷深化，最終能夠完整解答關于深度學習能力與極限的重大理論問題。

趨勢3：機器學習向分布式隱私保護方向演進

當前，全球多個國家和地區已出臺數據監管法規，如HIPAA（美國健康保險便利和責任法案）、GDPR（歐盟通用數據保護條例）等，通過嚴格的法規限制多機構間隱私數據的交互。分布式隱私保護機器學習通過加密、分布式存儲等方式保護機器學習模型訓練的輸入數據，是打破數據孤島、完成多機構聯合訓練建模的可行方案。

趨勢4：大規模自監督預訓練方法進一步發展

GPT-3的出現激發了研究人員在視覺等更廣泛的范圍內，對大規模自監督預訓練方法繼續開展探索和研究，未來，基于大規模圖像、語音、視頻等多模態數據，以及跨語言的自監督預訓練模型將進一步發展，研究人員也將持續探索解決當前大規模自監督預訓練模型不具有認知能力等問題的方法。

趨勢5：基于因果學習的信息檢索模型與系統成為重要發展方向

人工智能算法是推薦系統、搜索引擎等智能信息檢索系統的核心技術，深刻地影響著億萬互聯網產品用戶的工作和生活。當前基于人工智能算法的信息檢索模型大多關注給定數據中變量間相關性的建立，而相關性與更為本源的因果關系并不等價，導致當前信息檢索的結果存在較為嚴重的偏差，對抗攻擊的能力不佳，且模型往往缺乏可解釋性。

趨勢6：類腦計算系統從“專用”向“通用”逐步演進

以類腦計算芯片為核心的各種類腦計算系統，在處理某些智能問題以及低功耗智能計算方面正逐步展露出優勢。但從設計方法角度看，類腦芯片往往根據目標應用要求通過歸納法來確定其硬件功能與接口，并定制化工具鏈軟件，導致軟硬件緊耦合、目標應用范圍受限等問題。

類腦計算芯片設計將從現有處理器的設計方法論及其發展歷史中汲取靈感，在計算完備性理論基礎上結合應用需求實現完備的硬件功能。同時類腦計算基礎軟件將整合已有類腦計算編程語言與框架，提出與具體芯片無關的高層次編程抽象與統一開發框架，針對目標芯片研發類腦計算編譯優化與映射優化技術，實現類腦計算系統從“專用”向“通用”的逐步演進。

趨勢7：類腦計算從散點獨立研究向多點迭代發展邁進

類腦計算在諸多方面已經取得了大量基礎性研究成果，但目前的研究仍呈現相對獨立狹窄的縱向分布特點，尚未形成相互促進的橫向貫通局面。未來的類腦計算將更加注重在單點獨立研究的同時與其他層面研究的結合，推動類腦計算的基礎理論算法、芯片硬件平臺、評估測試基準、編程編譯工具以及系統應用的相互協同和促進，構建更具全棧性的類腦計算迭代發展生態，進入良性前進的軌道。

趨勢8：神經形態硬件特性得到進一步的發掘并用于實現更為先進的智能系統

新型神經形態器件，如RRAM（可變電阻式存儲器）、PCM（相變存儲器）等，目前已經在人工智能領域發揮了重大作用，基于這些器件構建的智能硬件系統已經能夠有效地提升智能算法執行的速度和能效，并保持算法的性能。

然而當前大部分硬件智能系統僅僅利用了神經形態器件的部分特性，如非易失性、線性等，缺乏對器件更豐富特性，如易失性、非線性、隨機性等特性的應用。通過對器件的全面探究，下一代智能系統將會把算法的各種需求同器件的豐富特性緊密結合起來，從而進一步拓展智能系統的功能和應用范圍，提升系統的性能和效率。

趨勢9：人工智能從腦結構啟發走向結構與功能啟發并重

腦啟發的人工智能在強調對腦結構和神經形態模仿的同時，還需要了解人類神經元和神經回路的功能與機制。這是因為腦結構與腦功能并不存在簡單的一一對應的關系，即類似的結構可能有著不同的功能。

例如，作為古老結構的海馬體在人和動物的大腦上有著類似的結構，但是它們采用了不同的記憶編碼方式。動物的海馬體在編碼記憶時，采用的是“模式分離”的方式，即神經元形成不同的神經元群組來存儲記憶，以避免記憶的混淆。但是，人類的海馬體則采用了“概念和聯想”的編碼方式，即同樣的一組神經元可以儲存多個不同的記憶。人類這種獨特的記憶編碼方式可能是人類智能脫穎而出的一個關鍵因素，有助于解釋人類相比于其它物種所具備的獨特的認知能力，如人類的抽象思維能力和創造性思維能力。

趨勢10：人工智能計算中心成為智能化時代的關鍵基礎設施

近年來，人工智能對算力的需求迅猛增長，并成為最重要的計算算力資源需求之一。AI計算是智能時代發展的核心動力，以人工智能算力為主的人工智能計算中心應運而生。