數據中心的計算和存儲要「分家」?
本文轉自雷鋒網,如需轉載請至雷鋒網官網申請授權。
為了突破算力的瓶頸,AI芯片領域探索計算和存儲融合,寄希望于存算一體帶來的變革。
同樣是為了實現更好性能,滿足靈活性需求,數據中心卻要將兩大核心要素計算和存儲解耦,或者通俗理解為分家。
中國計算機學會(CCF)信息存儲技術專委會主任舒繼武表示:“算力的多樣化,高速網絡、低時延介質等底層技術的發展,讓數據中心從以CPU為中心的緊耦合架構,走向以數據為中心的存算分離的Diskless架構演進。”
Diskless架構將服務器本地盤拉遠,構成Diskless的服務器和遠端存儲池,將原有架構的多級分層資源徹底解耦池化和重組整合,實現各類硬件的獨立擴展及靈活共享。
那到底為什么需要Diskless架構?Diskless架構能發揮怎樣的優勢?
傳統數據中心架構面臨哪些挑戰?
傳統數據中心體系架構是典型的多級分層架構,從服務器到網絡到存儲,每一層都是獨立圍繞CPU、內存、總線、硬盤等組件構成的完整計算機系統。當新的數據應用出現的時候,為了快速部署新業務,企業通常采用最簡單的應用與本地盤耦合的服務器一體化架構。
然而,計算、存儲等硬件資源發展速度不均衡,算力生命周期和數據生命周期的差異越來越大,導致傳統IT架構存在的擴展不靈活、資源閑置、利用率低下等問題顯現。
天翼云高性能網絡首席架構師樊小平表示,“比如CPU升級的周期是2-3年,存儲的周期更長。但因為傳統存算融合的數據中心架構下,CPU和存儲固定的配比沒有辦法單獨升級CPU或存儲?!?/p>
傳統存算一體服務器架構實際面臨容量利用率三大挑戰:存儲資源利用率低;性能可靠性與資源利用率難以兼得;擴展性差,帶來運維、成本問題。
同時,還有數據中心三大稅帶來算力和IO效率挑戰。
首先,CPU處理流程很復雜,要進行網絡/存儲IO的處理,要消耗30%的算力,這被稱之為主力計算稅。其次,存儲系統仍為CPU 為中心的架構,數據路徑無法直通盤,時延增加20%,這就是存儲算力稅。最后,存儲協議面向HDD介質設計,協議厚重,協議處理導致帶寬下降10%,這又有了存儲協議稅。
“從應用的角度,現在有很多應用,其中的應用容器要求最好能夠不依賴服務器,能做到靈活部署和數據共享。同時,還希望按需實現細粒度 (fine granularity)資源分配?!笔胬^武說,“應用容器化帶來計算和存儲資源靈活部署、數據全局共享的強烈訴求?!?/p>
除了應用對傳統數據中心架構帶來了新的挑戰,計算、網絡、存儲技術的發展將催生新的架構。
具體而言,算力方面,CPU依舊可以再傳統的Web應用、數據庫等場景發揮作用,GPU在圖形處理、深度學習處理等領域有優勢,新興的DPU可以卸載網絡、存儲、安全功能。數據中心的算力朝著多樣化方向發展,按需運行并滿足用戶業務多種需求,這時候,算力池化是必然選擇。
網絡層面,低時延內存網絡的發展,加速服務器內存與性能盤的Disaggregate池化。網絡技術的發展,提高了系統資源池化的能力范國,特別是可促使內存資源池化。
存儲也有新的趨勢,新型分布式應用催生了輕量、高效的共享存儲系統發展,有效支撐了傳統數據中心架構朝極簡分層的新型存算分離架構演進。
于是,在應用的推動下,在算力、網絡和存儲技術發展的新趨勢下,多種因素共同催生了數據中心新的架構Diskless。
數據中心Diskless架構有哪些特點和關鍵技術?
由中國計算機學會(CCF)信息存儲專委會主編,天翼云、中國電子云、中科馭數、華為等十余家企業聯合撰寫的《數據中心Diskless架構》白皮書提到,Diskless架構突破了傳統以通用CPU為中心的處理邏輯,使數據處理等CPU不擅長的任務被專用加速器、DPU等替代,實現能效比最優的硬件組合。
具體看,全新的數據中心Diskless架構主要分為三大部份:
- 新型盤/框存儲:介質、芯片和系統深度協同的極簡、大存力存儲,替代本地盤實現數據共享。
- 高通量數據總線:高性能、低時延的遠程數據訪問總線,解決磁盤拉遠的訪問時延。
- 高效數據處理算力:實現網存協同,數據處理卸載、加速,提升10處理效率和性能。
舒繼武進一步解釋,在新型盤/框存儲部份,介質、芯片和系統做了深度的、極簡的融合,把算力和存儲解耦,形成數據的共享。極簡的特性和功能包括糾刪碼、壓縮等。
要真正做到高效的共享,網絡是很關鍵。數據中心Diskless架構中的高通量數據總線,有CXL、PCIE、NoF等,可以解決磁盤共享之后訪問的時延,以降低時延。
在算力部份,由于數據中心Diskless架構計算和存儲的解耦,數據中心中的各種類型的芯片,比如CPU、GPU、DPU都能充分發揮自身的優勢,靈活滿足應用的需求。
還有非常重要的一點,Diskless架構也能很好滿足新型分布式Serverless的應用。
由此,也能看出Diskless架構涉及五大關鍵技術:
一、場景化數據縮減,也就是針對不同場景的數據特征,可使用不同的數據縮減技術;
二、數控分離,數據bypass CPU,從智能網卡、DPU直通到盤,建極簡的快速數據訪問路徑;
三、盤芯協同,盤芯片和控制器芯片的深度融合,提高集成度,達到最低成本;
四、高通量網絡,存算模組問通過CXL Fabric、NoF、IP等多協議網絡實現高性能數據交換;
五、網存協同,智能網卡和DPU的硬件加速,實現高效的數據協同處理。
Diskless架構的優勢和挑戰是什么?
新的數據中心Diskless架構對于那些應用更有優勢呢?華為閃存存儲領域副總裁吳偉舉了三個典型例子,首先是云和互聯網場景,當中非常重要的虛擬化技術,引入Diskless架構以后,對云和計算過程中解決不了的問題,解決不好的問題,可以幫助其解決。
還有數據庫、大數據,冷熱數據分級的問題,現在的業務都要提供大內存,提供一些接口,還有軟件的處理,Diskless架構通過專用的存儲替代本地盤,計算存儲獨立擴展,可以避免投資浪費,節省成本。
第三個場景是大多數的云場景,特別是云場景中的容器。新的業務場景,傳統的存算一體的架構無法適應容器彈性的伸縮、敏捷特性。Diskless架構可以通過外置存儲將上一層的容器和下一層的存儲進行分離。
Diskless 架構優勢突出,但作為新提出的架構也難免面臨挑戰。
舒繼武提到,“構建Diskless 架構系統,面臨技術、生態方面的挑戰,內存訪問語義、網存協同存儲語義都還處于探索階段,如何與現有生態應用協同,需要產業界、學術界專家共同探索解決?!?/p>
雷峰網認為,Diskless架構作為一個新興的架構,還需要像華為、西部數據、美光等盤框型廠商的支持,也需要系統型廠商的共同推動,《數據中心Diskless架構》白皮書發布會上國內DPU公司的集體支持,也更讓人對Diskless架構的未來充滿期待。