大模型時代核心存儲革新,華為全閃存存儲的創新突破
原創隨著數據規模的爆炸性增長和AI應用的日益復雜,存儲正站在了技術創新的十字路口。在大模型時代,存儲系統需適應數據量的激增和高并發訪問需求,實現更高帶寬、更低延遲。同時,企業還需要優化數據管理,提升讀寫效率,確保數據安全,并支持靈活的數據訪問模式,以滿足AI模型訓練和推理的嚴苛要求。
在Scaling Laws法則的影響下,需要xPU與存儲之間必須具備超大帶寬,以應對萬億級參數大模型的訓練和推理需求。其次,在當前的AI訓練環境中,算力集群的可用度普遍低于50%,頻繁的訓練中斷不僅浪費了寶貴的計算資源,還嚴重影響了模型的訓練效率,因此算力集群的可用度問題亟待解決。此外,長序列推理導致的時延增加和單卡吞吐降低也是存儲系統需要直面的難題,這要求存儲系統必須具備高效的數據處理和檢索能力,以縮短推理時延并提升單卡吞吐量。
在此背景下,華為推出新一代OceanStor Dorado全閃存存儲,以極致性能、極致韌性和AI-Ready三大特性,為企業數智化轉型提供了堅實的支撐。
新一代全閃存軟硬件全面升級,智能DPU網卡提供數據流和控制流分離能力,打破處理器性能瓶頸,以專用硬件功能卡卸載CPU算力,開啟增值特性功能后性能無損。軟硬件深度協同釋放性能,全新升級的FLASHLINK 智能盤控卡協同算法,達成存儲系統億級IOPS、0.03毫秒低時延,相較上一代全閃存存儲產品提升性能3倍。
華為公司副總裁、數據存儲產品線總裁周躍峰表示,過去存儲系統以CPU為中心,所有數據操作和傳輸都依賴于CPU和內存緩存。然而,隨著數據量的爆炸性增長,這種架構逐漸顯得力不從心。華為提出以數據為中心的架構。
華為公司副總裁、數據存儲產品線總裁周躍峰
架構的轉變意味著數據面和控制面將被分離,控制面依然由CPU處理,負責決定對數據進行何種操作,而數據面則直接通過網卡與存儲設備進行通信,由網卡內部的控制器直接管理數據的讀寫。這種分離不僅減輕了CPU的負擔,還提升了性能,同時考慮到了節能的需求。
數據安全是存儲架構創新中不可忽視的一環。隨著勒索病毒的頻繁發生,存儲系統需要集成數據安全功能,以防止數據被非法訪問或破壞。新一代OceanStor Dorado支持SAN和NAS全域防勒索,勒索病毒檢測率最高達99.99%。通過智能快照關聯分析及智能合成技術,保障數據恢復100%可用。此外,新一代SmartMatrix全局互聯架構,容忍引擎、硬盤框、機柜多層故障,單設備可靠性達99.99999%,極端場景下支持8個引擎7個故障時業務仍恒穩在線。
新一代OceanStor Dorado全閃存存儲采用原生塊、文件、對象統一存儲架構,支持數據庫、文件、容器等多樣化應用,廣泛承載AI時代多樣化生產核心數據存儲需求。通過DME數據管理引擎實現對話式運維,并利用大模型技術主動發現異常,運維效率提升5倍。此外,存儲不僅僅是數據的讀寫管理,更重要的是對存儲數據的深入管理。這就需要數據編制功能,讓海量數據可視可管可用。通過數據資產的統一視圖,實現跨域、跨站點、跨廠商等負責數據的全局可視化,讓數據高效經濟的存儲,高效查找。
如今,華為數據存儲已廣泛應用在金融、制造、教育、醫療等多個行業,服務全球26000多家客戶,150多個國家和地區,全球Top100銀行中有53家選擇華為,廣受客戶信賴。而華為OceanStor Dorado全閃存存儲的推出,標志著存儲技術進入了一個新的發展階段,為企業提供了一個高效、穩定、安全的存儲解決方案,還為AI時代的核心業務提供了強有力的支持。