李國杰院士:未來幾十年是并行計算的黃金時代
并行計算是一切高性能計算,也是AI算力指數級爆發的基礎。AI、ML、量子計算、生物計算等等前沿技術應用,都依靠并行計算做支撐。新冠肺炎突發,高性能計算、人工智能等先進計算技術的應用在病毒研究及疫情防控中發揮了重要作用。隨著近期“新基建”大潮的助推,未來幾十年并行計算將真正迎來“黃金時代”。
并行計算的由來
1946 年,世界上第一臺通用計算機“ENIAC”在美國賓夕法尼亞大學誕生。
1959 年到 1964 年間設計的計算機一般被稱為第二代計算機。大量采用了晶體管和 印刷電路。計算機體積不斷縮小,功能不斷增強,可以運行 FORTRAN 和 COBOL。
1964 年到 1972 年的計算機一般被稱為第三代計算機。大量使用集成電路,典型的 機型是 IBM360 系列。1972 年以后的計算機習慣上被稱為第四代計算機。基于大規模集成電路,及后來的超大規模集成電路。
1976 年,Cray-1,第一臺商用超級計算機問世。集成了 20 萬個晶體管,每秒進行 1.5 億次浮點運算。
進入本世紀,并行計算得到飛速發展。由于單處理機的計算速度不斷提高,并行計算機的體系結構趨于成熟,數據傳輸網絡的標準化和傳輸速率的大幅提升,使得并行計算機的研制周期逐漸縮短。
并行計算擅長建模、模擬、理解真實復雜的現象,可以節省時間和花費、解決更復雜的問題,更好的發揮底層硬件的計算能力。
我國并行算法研究始于物理學家,接著中科院物理所的王鼎盛、生物物理所的陳潤生、中國科大的陳國良、軟件所的孫家昶、計算所的孫凝暉等科研人員成立了一個研究并行算法和并行軟件的小組,這個小組引領了國內并行算法和并行軟件研究,為我國并行計算的發展奠定了基礎。若干年后,這個不到十人的跨學科小組出了四位院士。
院士李國杰:未來幾十年是并行計算的黃金時代
中國工程院院士李國杰表示,下一個十年將出現一個全新計算機架構的“寒武紀”大爆發, 學術界和工業界計算機架構師將迎來一個激動人心的時代。
最近的新冠疫情讓我們得到很多啟示,疫苗與抗病毒新藥研制涉及復雜的數學模型,必須借助數值方法應用并行計算求解,并行處理技術將在對抗病毒中發揮不可替代的作用。
并行計算現在已經處在一個全新的時代。2017 年獲得圖靈獎的計算機體系結構大師 Hennessey 和 Patterson 指出,無論是在指令級處理的技術還是多核處理技術,通用處理器固有的低效率和縮放比定律、摩爾定律的終結,使得處理器架構師和設計者已經不太可能在通用的處理器上再保持顯著的性能改進。
“計算機體系結構的改進、創新必須和并行算法、并行軟件的改 進創新同步進行,越是高層的改進得到的性能和效率的提高越大。不管是突破摩爾定律還是馮•諾依曼瓶頸,都必須跨層次進行。未來幾十年是并行計算的黃金時代!”