計算走向商業化的趨勢加強,數據存儲成為必爭之地
本文轉自雷鋒網,如需轉載請至雷鋒網官網申請授權。
高性能計算被譽為「國之重器」,近年來在各行各業中的「奠基」角色愈加突出,對生物、機械、材料、氣象、海洋、物理、人工智能等不同領域產生了重要的影響。
從CPU的單核到多核,從1978年的x86體系CPU誕生到GPU加速卡、Arm芯片,從HPC云到HPC與大數據、AI的漸趨融合,從國家級重大科研到賦能業務鏈一環,高性能計算領域一直在不斷地變化與發展。
「計算」距離我們的生活也越來越近。
在10月21日至23日于珠海舉辦的CCF HPC China 2021大會上,我們窺見了高性能計算領域的一些新趨勢:
首先,除了國家超算中心,國內超算市場上涌現出越來越多由地方政府或企業主要的超算/智算中心。HPC 2021 大會上出現了諸如北京超級云計算中心、內蒙古高性能計算公共服務平臺(青城之光)般優秀的超算中心。
其次,隨著可產生數據的設備越來越多,存儲設備日益成為高性能計算領域的聚焦點,也成為各大廠商的必爭之地。同時,面向數據密集型應用的超算技術開始嶄露頭角,比如,由CCF高專委發起、陳國良院士作序的《數據密集型超算技術白皮書》,便引起了超算領域的廣泛關注。
此外,超算的商業化趨勢越來越明顯。面向國家級大科研項目以外的中小用戶的超算產品呈現上升趨勢,超算從實驗室走向生產、從科研走向商業,成為時代所趨。
與此同時,大會緊跟國家「十四五」規劃與「碳達峰、碳中和」的熱點,展示了高性能計算在自主研發日益推進下的重要角色(工業仿真)。在超算技術的發展中,行業先驅者越發重視「低能耗」與「環境友好」,比如聯想第五代溫水冷服務器。
或許是受到疫情的影響,本次參展的廠商以遠近聞名的巨頭為主,鮮見小企業的身影。這也再次反映了高性能計算的「高門檻」特征。
AI科技評論聯系了華為、聯想與戴爾的重要專家,對高性能計算行業的發展現狀與趨勢進行了精簡干練的分析。他們的發言整理如下:
華為公司數據存儲與機器視覺產品線解決方案首席架構師陳默:
過去一年全球最重要的事件是抗擊疫情,各國紛紛利用超算展開科技抗疫,分析病毒,做好防控。
令我印象最深刻的研究突破是中國醫學科學院實現mNGS宏基因組多模態組學數據分析,在完成去人源的基礎上與現有新冠病毒庫自動比對,識別并預測變異點位,查找變異源序列,結合高清影像、AI算法,對新冠肺炎肺部病灶實現自動標注的對比分析,相同病理變化自動匯集,最終實現對新冠病毒的溯源和智能醫學分析。
這一研究成果的突破之處,在于打破了科學計算和大數據分析的邊界,通過跨界協同,讓國家科技抗疫的能力上了新臺階,充分體現了高性能計算的社會價值。
此外,傳統的HPC技術廣泛應用于科學研究領域,但是,隨著HPC、AI和大數據應用走向融合,我們也看到一些新的變化,如各超算中心的算力廣泛應用于國家的疫情防控,風險人員識別;又如越來越的的大企業,如能源行業、制造行業,把HPC作為了企業的生產系統,承擔了企業的關鍵業務。HPC從實驗走向生產,從科研走向商業的趨勢逐漸明確。
當前,HPC的發展方向主要有兩個:一是HPC云,即以云服務的方式提供HPC算力;另一個,則是HPDA,即HPC、AI與大數據技術的融合,也就是「數據密集型超算」。但這個方向在業界的關注度還較低。
我們做過一個統計,近年來新增的超算場景,80%以上都是數據密集型,即參與計算的數據量達到PB級,計算過程中,需要頻繁的進行訪存操作,而且對于整個計算過程中的數據可靠性和安全性均有較高要求。這說明數據密集型應用已成為超算的主流應用,而如何用得好、用得放心,即將成為超算領域的新熱點。
華為在高性能計算領域主要有兩個發力方向,一個是算力的多樣化,通過鯤鵬和昇騰芯片提供CPU算力與AI算力;另一個則是更多地面向數據密集型應用,通過整合異構算力、高密存儲與無損網絡的能力,提供數據密集型超算整體方案。
今年的HPC大會上,我們也展示了為數據密集型超算而設計的超高密存儲硬件,一款是OceanStor Pacific 9950超高密性能存儲節點,在5U的機柜空間里能夠提供160GBps的帶寬或者200萬IOPS,空間性能密度業界最優,另一款OceanStor Pacific 9550超高密容量存儲節點,5U的機柜空間能提供超過1.6PB的容量,為海量數據的增長提供彈性靈活的擴容方案。
OceanStor Pacific使用的創新軟件框架,通過大小IO自適應數據流、融合非結構化數據索引、超高密硬件和彈性EC算法等技術架構的突破,打破高性能數據分析的性能墻、協議墻和容量墻,一套存儲支撐高性能計算、大數據分析、AI計算的混合負載,大幅提升數據分析效率。
聯想企業科技集團HPC&AI營銷總經理于濤:
過去一年,HPC領域主要展示了兩個重要的趨勢:
趨勢一,新基建下,以地方政府為核心興建的大型高性能計算中心和智算中心成為新的投資熱點,且投資重點逐漸聚焦在融合了人工智能算力的新型智算中心上。
趨勢二,在國家「十四五」規劃與「雙碳」目標的驅使下,高性能計算的技術研發也越來越重視低碳和低能耗。HPC數據中心的能耗被高度關注,且越來越多人提出對PUE指標的要求。液冷正在替代風冷成為HPC數據中心的主流散熱技術。數據中心的余熱回收也被越來越多的人關注。
聯想高性能計算解決方案應用于政府、教育、制造、醫療、金融、能源等,尤其注重HPC與生命科學、工業仿真、金融量化交易與氣象等領域的結合。這些應用領域對計算機有著極為苛刻的要求,而聯想在水冷技術、作業調度軟件與存儲方面有獨特的技術,可以很好地實現客戶對HPC性能或者功耗的要求。
根據最新全球高性能計算機TOP500榜單顯示,在全球浮點運算性能最強的500臺高性能計算機中,聯想入圍184臺,連續七次蟬聯全球高性能計算提供商份額第一名。聯想HPC在全球范圍內,擁有廣泛的影響力,其中德國萊布尼茲、韓國氣象局、德國馬克思-普朗克研究所、全球最美高性能計算中心巴塞羅那、北京冬奧會的氣象保障系統北京氣象局HPC局均由聯想建設。
在今年的HPC大會上,聯想主要展出的王牌產品包括聯想第五代溫水冷服務器,有助于降低功耗,還有針對工業仿真場景的基于LSF作業調度技術,以及基于GPFS文件系統的豐富的存儲解決方案。
近日,聯想董事長楊元慶以個人名義,捐贈上海交大最快HPC系統,造價1億人民幣。建成后預計高校算力排名第一,同時也是國內首次采用了聯想第五代溫水冷技術的集群。
戴爾(中國)高性能計算實驗室主任凌巍才:
高性能計算的發展非常快。在中國,超級計算機的性能以每10年提高1000倍的速度在發展。
今年的HPC大會前,我參與了同行的討論,談到高性能計算領域的新機遇,主要有四點:
首先,市場需要高性能計算。越來越多的用戶開始購買高性能計算機,高性能計算機可以給用戶帶來好處,幫助用戶實現目標。比如,高性能計算可以幫助我們更快地設計汽車,或更快地判斷材料的性質,或進行氣象預報、模擬地球等等。
其次,高性能計算能夠帶動其他領域科技的發展,并與行業領域形成交叉學科,促進熱門行業科技發展。在高性能計算的跨界交叉方面,戴爾注重生命科學和與高端制造業的結合,在生命科學中,提供面向生命科學的高性能計算方案,可以加快基因分析和疫苗藥物的研發速度。在制造業中,高性能計算機可用于傳統的模擬仿真,如汽車碰撞,采用計算機仿真模擬,不僅提高測試的速度還可以降低了成本。此外,高性能計算還開始用于產品的設計,比如,在測試汽車駕駛的過程中,外形要如何設計才能更契合空氣的流動、減少阻力。
第三點,在近期的技術發展還顯示,高性能計算仿真、數據分析與人工智能在一個通用的平臺上運行是市場的需求和發展的趨勢。戴爾科技集團根據采用先進的技術開發了開源軟件Omnia,可以幫助用戶在同一硬件平臺上部署和管理軟件組件,運行仿真、數據分析和人工智能不同作業負載。
最后一點,隨著數據量的指數級的增長,存儲也成為用戶的關注重點。比如生命科學中基因分析應用,先是基因數據獲得,然后進行存儲和計算,最后還需要將結果數據歸檔和后期查詢。由于基因數據量是非常龐大的,對不同階段(Pipeline)對數據有不同的訪問要求。戴爾公司收購了EMC(易安信)公司后,在高性能計算存儲方案上有非常全面、領先的產品。針對不同形式的數據和訪問需求,我們都有不同的存儲產品來匹配。