硬件輔助超融合:任意云中的全閃存VSAN
引言
超融合的概念我想大家都不陌生了,通俗地說是將計算、存儲融合在一個節點內,并支持分布式高可用及Scale-out線性擴展。
超融合可以使用成本較低的標準化服務器硬件,而本文要討論的則是比較有特色的設備——“硬件輔助超融合”能給用戶帶來哪些更多的價值呢?
在《戴爾+UnitedStack托管云:不是偶然的合作》一文中,我們為大家簡單介紹過下圖,并圍繞基于OpenStack開源平臺的任意云展開了討論。
本文接著談談戴爾與VMware的合作。在上面的紅圈部分,Hybird Cloud Platform RA(混合云平臺參考架構)with vRealize是一套由PowerEdge FX2服務器+SC4020存儲等組成的方案;而采用VSAN超融合的VMware EVO: RAIL基本上被限定住了規格,不同合作廠商之間沒有太多的差異化。 偏于同質化的產品,寫出來大家不見得感興趣。本文的主題和VSAN相關,自然想介紹一些戴爾有特色的東西, 而任意云方案的一個重要特點就是開放。VSAN認證節點及全閃存性能/壽命要求
這張圖是來自戴爾的 VSAN認證節點(注:隨時可能有更新)。其中 “AF-x”系列代表全閃存,“HY-x”表示SSD+硬盤混合存儲。后者使用的服務器屬于相對通用的規格,而全閃存VSAN節點則清一色采用了 PowerEdge FX2模塊化的融合基礎架構——由刀片和多節點機架式服務器在技術上匯聚而來。
上面為VMware對VSAN全閃存節點的配置要求。我們看到“容量層閃存”和“緩存層閃存”除了對容量和數量的要求不同之外,還分為多個壽命和性能等級。
VSAN的SSD性能等級要求。從B到F一共5檔,其中Class F的十萬以上寫IOPS已經達到了PCIe/NVMe或者目前頂級SAS SSD的水平。
VSAN的SSD壽命等級要求。其中Class A的5年365TB寫入容量適合全閃存配置中的容量層;Class B適用于混合配置中的Cache層;而Class C和Class D(7300TB寫入)分別針對中等/高負載的全閃存配置Cache層。 PowerEdge FX2更高的存儲密度
這是戴爾VSAN認證節點中的全閃存服務器配置,除了計算節點之外,值得重點關注的還有SSD配置,畢竟VSAN玩的就是存儲。 我們看到容量層SSD一律是性價比較高,寫入壽命相對差一些的讀密集型MLC;而Cache層則是混合用途或者寫密集型SSD。 上圖中只列出了FC計算節點的數量,但沒有注明它們安裝在幾個FX2機箱中,以及搭配有多少FD332存儲模塊。在進一步比較計算/存儲密度時,我們可以查看VMware網站上的詳細配置文檔。
上表引用自《VMware Virtual SAN Ready Nodes》以AF-8系列中的3 x FC630刀片配置為例,使用了2個FX2機箱、搭配3個FD332存儲模塊(與計算刀片一一對應)。SSD分配到每個FC630就是2個緩存SSD+12個容量層SSD,所有閃存盤都是2.5英寸標準部件。
去年11月在上海舉行的戴爾企業客戶峰會(DEF2015)上展出的一臺PowerEdge FX2,里面安裝了2個FC630節點。
以上配置在這個2臺FX2合計4U機架高度中,實際上利用了3/4的空間,還有一個FC630+FD332的擴展潛力。折合2U 28 x SSD的存儲密度,超出了2U 24 x 2.5英寸盤位的傳統“雙子星”服務器。
我們就不列出更多的詳細配置表,下面按需向大家介紹下另外幾款配置中的特色之處。 PCIe交換架構、靈活拆分的FD332存儲模塊
如上圖,這款AF-6系列配置構建在包含4個FC430服務器,和2個FD332存儲模塊的PowerEdge FX2上。每個FD332的雙RAID控制器(PERC,在VSAN中作為SAS HBA直通使用)分別映射到1個FC430服務器,它們之間的連接關系見下圖。
可以看出,FX2機箱中的每個服務器和存儲單元都是通過中板連接到 PCIe交換模塊,以實現互連互通。
FD332存儲模塊一共支持16個2.5英寸驅動器,可以從PowerEdge FX2機箱抽出后在兩側維護。以上AF-6系列中的FC430,在一臺機箱中滿配了 8個緩存SSD+24個容量層SSD,達到了2U 32個2.5寸驅動器的存儲密度,比前面的FC630還要高。
上面是一個FC830節點,下面是整套FX2機箱。本文中VSAN使用的SSD都是2.5英寸,示意圖計算節點上的1.8英寸擴展位僅供參考。再來看一下FC830,4路服務器應該是針對計算密集型的。其中AF-6系列的3個FC830安裝在2個FX2機箱中, 6個緩存SSD+8個容量層SSD分配到每個計算節點(1U高度)就是8個2.5英寸驅動器,這樣直接在FC830上解決就不用FD332存儲節點了。2個FX2機箱中占滿了3/4,還空著一個全寬的擴展位。 而AF-8系列的3個FC830節點,一共連接了6個緩存SSD+36個容量層SSD,這時就需要3個FX2機箱并且搭配3個FD332存儲模塊了。如果需要的話,每機箱可以添加第二個FD332。 寫到這里不知是否有人會問,PowerEdge FX2會不會比標準服務器成本要高?以上介紹的存儲密度優勢是否值得?其實 FX2不只有專用的存儲模塊,還有多種網絡交換模塊和CMC機箱集中管理模塊等設計。FN I/O Module網絡模塊東西向流量優化
上面的照片是FX2機箱后部,除了PCIe擴展卡和右邊的冗余電源位置之外,左邊紅圈的部分是2個直通網絡模塊。它們可以將最多8個計算節點上的2個萬兆以太網口引出,計算節點之間通信也是通過網線連接到交換機。而FX2還可選另外3種FN I/O Module如下:
表格里為PowerEdge FX2 3種可選的FN I/O Module網絡交換模塊,它們對內都能提供8個到計算節點的萬兆連接。為了保證網絡結構的冗余性應該配置雙模塊。 在《PowerEdge FX體系結構 — 針對未來的數據中心徹底改造機架式服務器》解決方案簡介資料中:“除了標準的1 Gb和10 Gb直通I/O模塊,三個強大的I/O聚合器(PowerEdge FN410S、FN410T和FN2210S)也能簡化纜線管理(按最高8:1比例聚合纜線)并實現其他網絡功能。他們 優化了機箱內部東西方向的服務器到服務器流量,通過加快虛擬機遷移和顯著降低總體延遲大大提高了總體性能,并且它們還支持LAN/SAN聚合并可簡化網絡部署。” 可見, FN I/O Module交換模塊可以減少萬兆交換機端口占用和線纜數量,特別是本文中的4節點FC430配置更是可以在機箱內實現全部VSAN集群通信流量。另外,如果用戶已經準備好萬兆交換機端口并且不在意線纜數量,也可以使用直通網絡模塊。 結語本文討論的方案核心是VSAN分布式軟件定義存儲,而 好的軟件如果搭配優化的硬件則能發揮出更強大的威力。我們將PowerEdge FX2+VSAN稱為硬件輔助的超融合,在“服務器淪為白菜價”的今天,這些正是精心打造的差異化硬件之價值體現。