以技術創新推動數據中心產業發展,西部數據OpenFlex Data24開啟AI時代數據存儲新范式
原創俗話說,天下大勢,分久必合,合久必分。任何技術的發展,都會在不同的時期、不同的應用場景下發生改變。
具體到數據存儲領域,從集中式存儲、分布式存儲,再到軟件定義存儲,每次新技術的變遷,都與當前的應用場景密不可分。在人工智能成為時代潮流的今天,傳統的集中式存儲所采用的存算一體的架構面臨著資源利用率低、擴展成本高等問題,已經很難滿足海量數據的分析、存儲需求,存算分離的技術架構成為AI時代的最佳解決方案。
在2025年4月9日-11日召開的第十三屆中國電子信息博覽會(CITE 2025)及2025AI算力產業大會上,憑借其卓越的技術創新和優異的性能表現,西部數據OpenFlex? Data24 4200全閃存儲平臺斬獲CITE2025創新獎,充分體現了西部數據面向AI時代打造的存儲平臺所展現出來的強大技術實力。
AI時代的存儲變革:為何存算分離成為新趨勢
我們知道,數據是驅動AI模型訓練與推理的核心燃料。隨著大模型參數量的指數級增長(如GPT-4參數量達萬億級)、端側AI設備的普及,以及實時分析需求的激增,傳統存算一體架構的局限性逐漸顯露。
以輔助駕駛測試為例,每天將會產生60TB的數據量,完整測試周期數據量可達數百PB,且需存儲30年以上。傳統存算一體架構下,存儲與計算資源耦合,難以獨立擴展。
在西部數據發布的《Why Your Organization Should Consider Composable Infrastructure for Greater Flexibility and Agility》的白皮書中指出,盡管融合和超融合相比傳統硬件設計有了顯著改進,但企業在使用集成硬件解決方案時仍然面臨挑戰。例如,軟件和硬件必須來自同一供應商,這使用戶被鎖定在該供應商及其有限的產品中。
存算分離的數據存儲架構,是通過將存儲層(如對象存儲、分布式文件系統)與計算層(如GPU集群、容器化服務)解耦,實現獨立擴展與資源優化。在筆者看來,存算分離的數據存儲架構,其核心優勢是擁有非常靈活的擴展能力。
由于實現了計算資源與存儲資源的完全分離,企業就能夠按照實際需求,靈活地進行計算資源與存儲容量的擴展,這樣不但能夠很好地降低數據存儲的成本,還可以實現計算節點的彈性擴容。以AI應用為例,數據往往需要進行多次迭代和優化,存算分離架構能夠高效地處理這些需求,同時降低數據傳輸的延遲和成本。
實際上,隨著存儲介質、高速網絡、存儲協議等技術的發展,存算分離的數據存儲架構在性能上也有了很大的提升。例如,通過智能緩存與元數據優化,抵消網絡延遲,提升系統的整體性能。
多項創新技術加持,為AI應用提供最優解
作為行業領先的存儲解決方案供應商,西部數據始終致力于技術創新與產品研發。面對AI時代的存儲變革,西部數據推出的OpenFlex Data24 4200 NVMe-oF存儲平臺,通過多項創新技術,實現了計算與資源的靈活配置與優化利用,即滿足了AI模型訓練與推理對于存儲性能的需求,又降低了海量數據的存儲成本,成為AI時代最佳的存儲解決方案。
在性能方面,西部數據OpenFlex Data24 4200 NVMe-oF存儲平臺擁有與本地NVMe SSD相近的性能表現。首先,OpenFlex Data24 4200 NVMe-oF存儲平臺采用了西部數據自研的RapidFlex? A2000芯片,顯著提高了數據訪問速度和I/O性能,進一步減輕了CPU的負擔。由于搭載西部數據的RapidFlex A2000 Fabric Bridge設備,為此提供了12個100GbE端口,能夠支持與主機采用RDMA或NVMe over TCP連接。
其次,OpenFlex Data24 4200整個機箱采用PCIe Gen4標準 ,在以太網架構中能夠充分發揮每塊SSD的性能,并支持雙端口PCIe Gen4 NVMe SSD 實現盤到網絡端口無性能瓶頸。
在可擴展方面,OpenFlex Data24 4200 NVMe-oF存儲平臺支持存算分離與軟件定義存儲(SDS)的理念,將計算資源與存儲資源進行物理或邏輯上的分離,以此實現兩者的獨立管理和優化,打破了傳統存儲架構的局限性,使得計算和存儲可以獨立地進行擴展和優化,從而提高了資源的利用率和系統的靈活性。
由于OpenFlex Data24 4200平臺支持軟件定義的存儲架構,因此提供了開放、靈活的存儲管理功能。通過軟件定義的方式,用戶可以根據業務需求,動態地配置和管理存儲資源,實現資源的靈活調度和優化。這一特性不僅降低了存儲管理的復雜度,還提高了存儲系統的可擴展性和適應性。
不難發現,面對企業的AI應用,OpenFlex Data24 4200平臺的高性能與低延遲特性,為深度學習、機器學習等AI應用提供了強大的存儲支持。通過存算分離與軟件定義存儲的架構,AI應用可以高效地訪問和處理大規模數據集,加速模型的訓練和推理過程。同時,平臺的開放性與兼容性,使得AI應用可以輕松地與其他系統進行集成和協同工作,進一步提升了AI應用的效率和效果。
以開放組合式架構標準,賦能企業構建高度靈活的基礎設施
前文提到,存算分離+軟件定義是AI時代企業構建數據存儲平臺的重要因素,而構建存算分離+軟件定義的存儲平臺,則必須以開放組合式架構標準為基石。
實際上,OpenFlex便是西部數據通過分解磁盤和閃存與服務器連接到可擴展結構實現開放組合的基礎架構,旨在將計算、存儲和網絡結構資源分解為可用于按需分配(即“可組合”)的共享資源池。由于可組合性發生在軟件級別,分解發生在硬件級別,因此使用NVMe over-Fabric,能夠大大提高數據中心的計算和存儲利用率、性能和靈活性。
OpenFlex Data24作為存儲設備中的NVMe oF目標,設備通過以太網從網絡客戶端接收NVMe oF命令,并將其轉換為NVMe命令,并將它們傳輸到PCIe連接的NVMe設備(SSD)。OpenFlex Data24同時支持RDMA(RoCE v2)和NVMe Over TCP連接,每個傳輸協議都完全在芯片級邏輯中實現,在高速數據路徑中沒有任何固件代碼,完整的基于狀態機的實現提供了極低的延遲性能,最大限度地減少了每I/O網絡開銷。
根據Grand View Research的報告,2024年全球可組合基礎設施市場規模估計為92.3億美元,預計從2025年到2030年以50.3%的復合年增長率。在中國市場,雖然有一些企業在可組合基礎設施領域有所布局和發展,但國內市場該架構還屬于初期發展階段,后期市場預計呈現爆發性增長。
據筆者了解,由西部數據管理的開放可組合兼容性實驗室(OCCL)所做的出色工作推動了可組合基礎架構作為可靠技術的普及,幫助企業IT和基礎架構買家自信地評估、選擇、集成和管理跨硬件基礎架構的可組合基礎架構方面發揮著不可或缺和至關重要的作用。
寫在最后:
人工智能在賦能企業創新變革的同時,也在推動著IT基礎架構的升級。存算分離作為AI時代的新趨勢,具有顯著的技術優勢和實際應用價值。通過實現計算和存儲資源的獨立管理和優化,存算分離架構能夠提高資源利用率、降低運營成本、提升系統性能和增強系統靈活性。同時,與可組合基礎架構的結合進一步提升了存算分離架構的潛力和應用價值。
作為全球領先的數據存儲解決方案提供商,西部數據通過對行業需求的深耕來驅動技術創新與產品研發,OpenFlex Data24 4200 NVMe-oF存儲平臺正是西部數據針對當前數據中心挑戰而推出的重磅產品,實現了計算與存儲資源的靈活配置與優化利用。展望未來,西部數據將持續致力于開發和提供先進、開放且兼容的可組合基礎架構解決方案,以更加成熟的技術和產品,致力于成為企業數字化轉型的最佳選擇。