強強聯手:山東大學、聯科、華為公共計算平臺聯科云計算CCMP解決方案
當今的科學研究中,計算已和實驗、理論并列為三大科學方法。隨著計算技術的迅猛發展、科學理論模型日漸成熟,高性能計算在科學、工程和社會等領域都有了愈加廣泛的應用。在地球地質、氣象氣候、測繪科學、天體空間、凝聚態物理、高能物理、計算化學、分子生物學、基因測序、材料科學等領域,高性能計算已是必備的研究手段。
在物理、化學、生物、新材料等多個相關學科中,高校、科研機構能夠利用高性能計算觀察到比實驗現象更細致的層次,或者對目前比較昂貴或無法實現的實驗觀測進行理論模擬,從而幫助解釋實驗結果,理解自然規律,進一步指導實驗過程,大幅提高實驗效率。
高性能計算中心可為網格技術、并行計算、海量數據處理、密碼分析、虛擬現實與可視化技術等領域的研究提供優越的支撐環境。同時,為基礎科學、材料科學、生命科學、環境科學等領域的研究提供國際水準的現代化科研環境。
山東大學、華為與聯科圍繞山東大學的高性能計算、云計算、大數據、深度學習及數據分析統計科研的需求,構建一個基于混合硬件架構、計算能力超過300TFOPS、存儲能力超過1PB的計算平臺,打造一個基于容器技術的有高性能計算能力的高校公共計算云平臺的管理模式和應用服務體系。系統在2017年12月正式發布,以“硬件+軟件+服務”的方式,大幅降低計算用戶的使用門檻。
硬件架構:
軟件架構:
山東大學聯科云計算平臺解決方案的優勢:
硬件資源:
山東大學無論在科研實力還是在教育成果方面,都處于我國高等學府第一階梯,也是此次世界一流大學建設的重點院校,其中數學和化學被評為“雙一流”建設學科,山東大學入選我國雙一流建設戰略可謂實至名歸,而且強大的科研實力與堅實的基礎科研平臺建設密不可分,其中高性能計算集群對于山東大學多個學科建設和科研工作推進功不可沒。
傳統高性能計算在氣象、化學、物理等科學研究中應用頗多,但需要用戶具有較高的計算機專業技能,以氣象專業的研究生為例,通常學生需要在WRF這樣專業的氣象應用上進行學術研究,然而WRF是運行于Linux操作系統下,而且均以源代碼方式發布。
因此,氣象專業的學生不僅要掌握Linux系統的各種命令并熟練使用,還要學習安裝中編譯WRF所需要的各種依賴關系、編譯器、數學庫、并行環境。具體到每個學生的實踐中,一個這樣的研究工作可能要持續一年甚至更長時間,并且學生大部分時間并沒有集中在自己的研究工作上,要建設“雙一流”高校,學術科研及學校綜合實力都要上升到新的層次,高性能計算平臺也必須更加易用和高效。
為突破傳統高性能計算平臺的瓶頸,山東大學軟件學院龔斌教授基于十幾年的高性能計算集群的管理、維護經驗,攜手華為以及華為認證ISV聯科集團,基于雙方在高性能計算領域的豐富經驗,同時利用前沿的云計算技術,容器技術、前端展示技術以及移動計算技術,建立創新、高效的公共計算云服務平臺。
軟件資源:
聯科云計算平臺CCMP讓一個單一的資源池,能夠提供三個“同時”:(1)同時彈性提供各種級別的計算需要(從單機應用到大規模并行計算);
(2)同時容納不同的計算需求(從數據密集到計算密集,或需要使用不同的操作系統);(3)同時滿足不同的用戶習慣(從要求各種定制環境的自由度的專家用戶,到要求便捷的按鈕式使用的用戶)。
CCMP是聯科集團建基于多年在高性能計算集群管理和作業調度領域、高性能計算環境優化領域、共享資源管理領域、并行文件系統研發領域的成功經驗而提出的,開創性解決思路,CCMP融合了先進的云計算技術,將計算中心的服務器、存儲和網絡資源統一池化,打破傳統的單個用戶占用物理資源的使用模式,將應用程序和操作系統以及硬件之間的強耦合關系進行解耦,結合自主研發的虛擬化技術,提高資源的利用率,將傳統的計算中心使用的固化的計算環境改造成智能的、動態的、能夠提供“三個同時”的計算環境。
聯科云計算平臺CCMP的核心理念是EaaS。EaaS是Environment as a Service(環境即服務)的簡稱。通過多年在HPC領域的開發和服務實踐,我們認識到,由于現代計算需求的多擇性,我們需要的不只是EaaS的E,PaaS的P,SaaS的S,更是一個包括軟件、數據、輸入輸出渠道的環境(Environment)。通過對最終用戶提供EaaS,CCMP無縫連接用戶與計算資源,大幅降低使用計算技術解決各種問題的門檻。
聯科云計算平臺CCMP有完整的功能配套,實現了對云數據中心的資源監控、資源預警、生命周期管理、網絡管理、分布式存儲管理、云計算服務請求處理等功能。CCMP內核系統基于原生代碼,相比傳統云平臺更加高效快速,可以同時管理虛擬機與物理機。CCMP可用于構建傳統私有云數據中心,還可以搭建高性能計算平臺以及大數據應用平臺。可部署、管理物理服務器,申請高性能計算資源,可通過集群管理子系統對整個計算進行調度管理、作業提交以及計算資源的使用。
系統構造方面,CCMP通過X.509證書驗證,保證了云系統內部服務器通信的保密性。
在山東大學聯科云計算平臺的EaaS環境中,每個用戶都是環境的需求者,同時也是貢獻者。平臺為學校師生預構建好的計算環境,提供預先應用鏡像和處理的科學領域數據,包括硬件和軟件堆棧,并通過Web方式的交互界面,最大限度降低接入門檻。這意味著學生可以方便的申請到配置好的系統環境,甚至已經搭建好的應用環境。原本需要長期學習準備的時間被壓縮到極致。
此外,高易用性方便使用者參與到平臺的建設過程中,用戶可以向平臺貢獻應用鏡像、應用數據、應用服務,一同打造高效計算應用生態圈。山東大學聯科云計算平臺未來將成為數據共享、學術交流、教學實踐與校園信息化統一的資源調度平臺。
全文結束--