數據中心、公有云、邊緣計算中的存儲技術趨勢展望
引言
存儲系統是IT系統的重要組成部分,負責數據的可靠存儲和IO訪問,其評價標準主要為存儲的可靠性、性能和可提供的存儲容量。目前的信息技術領域的熱點依然是云計算、AI、大數據分析以及5G帶動的IoT,而傳統企業級應用的IT系統已經日趨完善。
目前的IT市場格局主要由互聯網廠商、傳統IT廠商和新興初創型技術公司組成,而IT系統的建設部署主要包括公有云、企業自建數據中心(On-Premises),以及近兩年發展起來的邊緣計算。
Gartner于今年7月發布的《2022年存儲與數據保護技術成熟度曲線報告》顯示出如下未來存儲市場發展趨勢:
- 到2025年,部署支持主存儲工作負載的外部企業存儲陣列中有30%將采用NVMe-oF,而在2021年,這一比例不足5%。
- 到2025年60%的存儲領導廠商會實現至少一種混合云架構,而2022年這一比例僅為15%。
- 到2025年,超過40%的企業存儲將部署在邊緣,2022年這一比例為15%。
- 到2026年,大型企業會在數據中心、公有云和邊緣一共部署相當于2022年3倍的非結構化數據容量用于存儲文件和對象數據。
下文將對數據中心、公有云、邊緣計算這三種主要部署場景中的存儲技術的發展趨勢進行分析。
一、數據中心(On-Premises)存儲技術發展趨勢
數據中心主要承載企業的生產業務,以ERP、CRM、SCM等傳統應用為主。目前此類應用已主要采用全閃存存儲,其中NVMe全閃存逐漸成為主流趨勢。同時存儲與前端應用主機的網絡存儲協議開始采用NVMe over Fabrics(NVMe-oF)。
NVMe-oF是一種存儲網絡協議,通過網絡將NVMe命令傳送到遠程NVMe子系統,以利用NVMe 全閃存的并行訪問和低延遲,該規范定義了一個協議接口,旨在與高性能fabric技術配合使用,包括通過實現RDMA技術的InfiniBand、RoCE v2、iWARP或TCP。
NVMe-oF是一種使用NVMe協議將訪問擴展到遠程存儲系統的非易失性存儲器(NVM)設備的方法。這使得前端接口能夠連接到存儲系統中,擴展到大量NVMe設備,并延長數據中心內可以訪問NVMe子系統的距離。NVMe-oF的目標是顯著改善數據中心網絡延遲,并為遠程NVMe設備提供近似于本地訪問的延遲,目標為10us。今后,NVMe over TCP很可能會發展成為NVMe-oF非常重要的數據中心傳輸機制,VMware在2021年已宣布對NVME over TCP的官方支持。
目前對NVMe-oF的軟件支持仍處于起步階段,但隨著它的擴展和成熟,像金融、電信運營商等信息化建設領先者,要么使用NVMe over RoCE v2部署NVMe-oF,要么在基于TCP/IP的產品上部署NVMe-oF,以利用最新的以太網部署,從而簡化過渡并提供投資保護。
目前NVMe和基于NVMe-oF的解決方案主要應用場景包括關系型數據庫或內存數據庫的事務處理、AI/ML、HPC等需要高IOPS、高帶寬和極低訪問延遲的場景。
二、公有云存儲技術發展趨勢
公有云目前基于軟件定義存儲技術,采用分布式存儲架構提供分布式塊存儲、對象存儲以及分布式文件訪問服務。
目前公有云存儲技術有兩個新的發展趨勢:xPU和容器存儲。
(1)xPU技術
xPU包括SmartNIC、DPU(Data Processing Unit)、IPU(Infrastructure Processing Unit)、FAC(Function Accelerator Card)、NAPU(Network Attached Processing Unit)等。這是一類具有專用硬件加速器和可編程處理器的設備,可加速網絡、安全和存儲功能,為數據流、包處理提供性能優化,提供加速、卸載和本地服務,部署為ASIC、FPGA或SoC。
xPU除了能夠連接到網絡外,還可提高數據運營和服務、服務器可用性以及網絡性能和安全性。xPU具有板載存儲器和多種網絡接口,可以獨立運行。xPU通過虛擬交換、安全和應用交付控制(ADC)等卸載功能,將服務器性能提高多達50%。目前xPU主要被AWS、Microsoft Azure、阿里云等公有云采用。
xPU可實現經濟高效的數據中心環境,同時提高性能。通過卸載高開銷的各種功能,它們允許服務器運行更多工作負載,從而提高服務器的資源利用率,在某些情況下,還可以降低基礎設施軟件的License費用。
AI/ML工作負載、3D建模、地震分析和大數據分析的興起對存儲和網絡產生了前所未有的需求,從而導致延遲和帶寬問題。xPU也越來越多地用于高性能全閃存存儲系統中,以提高IOPS并最大限度地減少延遲。xPU可以提供基于fabric的NVMe-oF和GPU直接存儲,實現NVMe-oF加速和AI/ML加速,加速遠程資源之間的數據傳輸,可用于HPC、AI/ML以及各種高性能分析等應用場景。
(2)容器原生存儲(Container Native Storage)
公有云環境需要新的數據管理工具和流程,以便提供由容器中運行并由K8S編排的有狀態應用程序訪問的存儲服務。K8S存儲標準化受益于容器存儲接口(CSI)的引入和日益普及,CSI接口由云原生計算基金會(CNCF)推廣。
容器原生存儲(CNS)是專門設計用于支持容器工作負載,專注于滿足獨特的云原生架構、粒度和性能需求,同時提供與容器管理編排系統的深度集成。CNS與微服務體系結構原則保持一致,并遵循容器本機數據服務的要求,包括與硬件無關、API驅動以及基于分布式軟件體系結構。
許多基于容器的應用程序需要支持持久性數據,容器原生存儲專門設計用于運行云原生應用程序,其通用基礎通?;诜植际?、軟件定義的統一存儲池,并具有數據服務的容器級粒度。容器原生存儲的整個堆棧通常使用K8S進行編排,以管理容器生命周期集成。
容器存儲支持部署有狀態云原生應用程序,從而提高彈性、可用性以及混合云和多云集成,并且消除了在構建和部署現代云原生應用程序的端到端過程中實現便攜式基礎設施敏捷性的瓶頸。容器原生存儲可以部署在本地或云中,成為混合云和多云部署基礎設施的最佳選擇。由于CNS函數基于軟件,因此可以在容器中實現,從而可以使用與容器化應用程序相同的業務流程函數對其進行管理。容器存儲最適合新的云本機應用程序,或者將進行重大重構修訂的應用程序。未來公有云會選擇符合微服務架構原則并符合容器原生數據服務要求的存儲解決方案,例如與硬件無關、API驅動、基于分布式架構,并且能夠支持邊緣、核心或公有云部署。
三、邊緣計算存儲技術發展趨勢
邊緣計算包括許多特定應用場景,比如加密、視頻編碼、AI/ML面部識別等,其特點是數據要在本地快速處理,并通過網絡將處理結果傳輸到數據中心或者公有云/混合云中。目前的技術限制主要在于本地數據處理能力和網絡傳輸帶寬不足。通過壓縮/解壓縮引擎,使驅動器能夠在每GB閃存中存儲更多數據,并能在窄帶內保持高傳輸性能是邊緣計算的核心存儲需求,而最新流行的計算存儲將成為適合邊緣計算的最佳存儲技術。
計算存儲(Computational Storage)將主機數據處理從CPU主內存卸載到存儲設備,涉及位于存儲設備上的更復雜的處理功能。計算存儲采用FPGA、ASIC更強大的處理能力,SSD上配置低功耗CPU內核。由于需要將操作任務卸載到SSD驅動器中,主機應用程序必須能夠與計算存儲的存儲驅動器充分通信。全球存儲網絡工業協會(SNIA)目前已發布計算存儲V1.0標準,這個開放標準框架使主機服務器應用程序能夠與計算存儲設備進行交互。
計算存儲是一種新型存儲驅動器,可為延遲敏感型應用場景(如AI/ML、IoT、沉浸式和混合現實流以及本地和邊緣的高頻交易)提供一致的性能。邊緣計算是計算存儲應用的一個主要場景,有利于分布式處理和電源效率的應用程序未來也可以利用計算存儲。在邊緣計算中,計算存儲可減少與應用程序相關的內存管理挑戰,這解決了與存儲相關的數據移動問題。與傳統SSD相比,計算存儲的低功耗和低占用空間提高了每瓦性能,降低了邊緣應用的功耗成本。同時,將更強大的嵌入式計算引擎與SSD控制器進行集成可以大幅縮短數據處理時間,提高壓縮效率,改善其它關鍵驅動功能。
計算存儲減少在存儲和應用程序計算資源之間移動數據時的性能低效率、能耗和延遲敏感問題,就近處理數據并分析數據生成和存儲的位置,使用戶能夠在設備級別提取業務分析數據。隨著數據量的增加和數據移動網絡帶寬成為瓶頸,計算存儲可以明顯減少邊緣工作負載的延遲。存儲效率的顯著提升和成本的降低將使計算存儲成為邊緣計算的最佳技術選擇。
但不管哪類存儲,企業用戶都要從性能、可靠性、穩定性、備份容災等多角度考量,在面對核心業務應用場景的方案選擇時,對開源存儲均持謹慎態度。特別是本身對安全穩定要求比較高的金融客戶,還要面臨后續軟件維護、更新迭代等一系列技術挑戰。因此,在核心業務、生產系統和大規模部署情況下,企業用戶選擇存儲系統的觀念依然“保守”,相比開源存儲,自研存儲系統依然是企業用戶核心業務的首選。