如何充分利用云緩存設備和網關
云存儲緩存可以減少性能降低的延遲。了解這些設備的工作方式,替代方法,按需功能和各種可用產品。
企業越來越多地將IT基礎設施從內部部署系統轉移到云服務。這樣,他們面臨著分布式系統設計人員熟悉的問題:很大限度地減少了將應用程序和用戶與數據分離時的性能下降。即使組織全力以赴地使用云計算基礎設施并將應用程序和存儲放在同一云區域中,也無法避免這種降低性能的云延遲,因為員工仍然必須在訪問文件共享和數據庫之前遍歷全球互聯網。
無論是在處理器芯片上還是在企業IT環境中,數據延遲的典型解決方案都是緩存和同步。使用這些技術,可以將經常訪問的信息復制到內部部署存儲庫,并將本地更改自動復制到中央存儲位置。
存儲緩存在云平臺中采用多種形式。一種通用的方法是一種類似于小型NAS陣列的云緩存設備,該設備定期與作為權威數據源的一個或多個云存儲服務同步。
云緩存技術如何工作
有幾種可用的云存儲緩存設備。最主要的實現方式使用內部部署硬件或虛擬設備,該硬件或虛擬設備連接到至少一個駐留在云端的虛擬網關,并提供通向一個或多個云計算對象、文件或塊存儲服務的管道。這些設備可以在單個群集內和多個遠程位置并行使用。他們創建了一個分布式存儲系統,其中包含多個企業數據中心、邊緣位置和托管存儲服務的IaaS區域。
云緩存系統有時也稱為混合存儲網關設備,以強調其作為內部部署和云計算基礎設施之間橋梁的作用。正如調研機構Gartner公司定義所指出的那樣,與其他嵌入式緩存一樣,這些設備根據設備和應用程序攔截文件、塊或對象存儲I/O。他們使用緩存管理算法,通常是最近最少使用或自適應替換緩存算法,來最大化緩存命中率并最小化外部數據流量。當從云中檢索緩存未命中(不在緩存中的數據)時,設備還使用數據壓縮算法(例如壓縮和重復數據刪除)以及WAN優化軟件來提高性能,并很大程度地減少延遲。
AWS Storage Gateway是支持多種存儲類型和后端云服務的混合網關的示例。
云存儲緩存替代品
云緩存技術有兩種變體,它們不充當純粹的本地緩存:
- 云存儲網關就像沒有本地存儲的緩存設備。它通常實現為虛擬設備,可作為虛擬機(VM)運行,并向本地用戶公開NFS和SMBNAS文件協議或塊接口(例如iSCSI),并將數據寫入云對象存儲服務。鑒于虛擬機(VM)服務器上本地存儲的低成本以及本地緩存的顯著優勢,幾乎沒有剩余產品可以充當純網關。
- 分布式文件系統為企業提供了可跨多個群集和多個位置的類云對象存儲的企業實施。某些產品也可以部署在AWS等云計算基礎設施上,從而使文件系統能夠跨越私有和公共資源,并能夠在需要時擴展云計算的額外容量。分布式文件系統提供了幾乎無限的可擴展性,無中斷的容量擴展、靜態和傳輸中的數據加密,具有地理分布的復制的高可用性以及用于文件和對象存儲的單個全局名稱空間。一些產品還包括備份和存檔模塊,用于定期將數據復制到云存儲庫,并將未使用的數據或冷數據遷移到低成本的云存儲服務,例如Amazon Glacier。
云緩存設備市場和產品
云存儲網關和緩存設備的市場與企業廣泛采用云服務的同時正在增長。調研機構Zion Research公司估計該市場的銷售額約為30億美元,每年以30%的速度增長,到2023年將達到近72億美元。一些大型企業IT供應商專門從事混合云存儲軟件,例如Ctera Networks和Panzura。
以下列表并不是詳盡的產品指南。但是包括流行的云網關緩存產品。
AWS Storage Gateway可以用作將本地系統與AWS存儲資源連接的虛擬設備或硬件設備。它支持對S3資源的文件(SMB或NFS)、卷(iSCSI)和磁帶(虛擬磁帶庫)訪問。該軟件設備需要一個具有四個vCPU、16GBRAM和80GB磁盤空間的虛擬機,用于圖像和系統數據。硬件設備是雙處理器Dell EMC PowerEdgeR640服務器,具有128GB內存和四個用于緩存的2TBSSD硬盤。
Ctera NetworksLtd.有一套包含三個軟件產品的套件,它們共同構成了一個混合存儲體系結構。它們包括用于核心云服務和系統管理的CteraPortal,用于本地服務器的Ctera EdgeFiler和用于遠程客戶端的Ctera Drive。Ctera軟件可以作為虛擬設備使用,也可以與五種系統配置之一捆綁在一起。
除了AWS Gateway,Dell EMC還提供了多種混合云存儲產品。這些包括:
- Power ScaleOne FSOS Cloud Pools功能,該功能可將數據分層策略擴展到云服務,以便將不經常訪問的數據自動從本地存儲遷移。CloudPools支持阿里云、AWS、谷歌云平臺(GCP)、MicrosoftAzure和Virtustream。
- 具有Unity Cloud Edition虛擬設備的UnityXT全閃存Unified Storage中端存儲陣列,可以在AWS上運行,以將塊、文件和VMware Virtual Volumes擴展到云計算基礎設施。
微軟公司主要是通過2018年收購Avere和2012年收購Stor Simple建立了混合存儲產品組合。
- Avere公司是云緩存技術的先驅,并繼續提供為高性能計算(Azurev FXT)和企業(Azure FXTEdgeFiler)工作負載設計的設備。EdgeFiler有兩種1U型號可用,一種具有12.8TBSSD緩存,另一種具有兩倍的緩存,可以擴展到每個群集24個節點,并提供數百萬的IOPS和每秒數百千兆字節的吞吐量。
- 到2022年StorSimple將會過時,由Avere、Azure FileSync服務或Azure StackEdge取代。Azure StackEdge是具有嵌入式現場可編程門陣列的1U服務器,用于人工智能工作負載加速。它充當通過Azure門戶管理的緩存云網關。
Nasuni是可公開NAS文件協議的分布式對象文件系統,并受AWS、Azure,GCP和IBMCloud支持。它是一種軟件產品,通常在本地部署在超融合基礎設施系統上。
NetApp全局文件緩存基于NetApp最近收購的TalonFast存儲軟件。該產品使用本地數據緩存創建一個全局分布的虛擬文件共享,該本地數據緩存會根據使用模式自動刷新。文件緩存與NetApp Cloud Volumes Ontap和Azure NetApp文件一起使用,以提供從內部服務器和邊緣客戶端到云存儲的低延遲訪問。
Panzura Freedom是一個全球性的分布式對象文件系統,具有統一的命名空間和本地緩存,該緩存可以自動跟蹤熱數據塊和冷數據塊,以提高緩存性能和效率。它的SmartCache策略允許通過固定緩存中的數據來覆蓋自動緩存管理,而不管其訪問頻率如何。、Freedom可以作為可在AWS、Azure、GCP,IBM Cloud和VMware上運行的虛擬軟件設備提供,也可以作為三種FreedomFiler硬件設備之一使用,最多可支持28TB緩存和5,000個用戶。
PureStorage不提供云緩存網關。但是,其云計算塊和對象存儲軟件可以跨越多個位置,并可以通過虛擬設備擴展到AWS和VMwareCloud基礎設施。
Stone Fly Smart Cloud Storage Gateway可以作為虛擬設備使用,也可以與StoneFly的SAN或NAS設備捆綁在一起。它提供iSCSISAN、S3兼容對象和NAS存儲。該虛擬設備可在裸機服務器和大多數管理程序上運行,軟件和硬件設備均支持AWS、Azure和StoneFly的私有云。