傳統存儲升級全閃存或混閃需要明確哪些問題?
傳統的存儲主要是基于SAS或者SATA等類型的傳統硬盤,隨著互聯網的發展和企業業務的轉型,SAS/SATA的性能已經無法滿足業務的需求。在更多新的存儲技術中,閃存介質已經成為主流。隨著軟件定義的崛起和流行,閃存的地位更成為企選型的基本配置。越來越多的傳統企業嘗試將部分系統遷移到軟件定義存儲上,甚至是核心系統。
然而多種不同的業務系統對于存儲性能的需求也各不相同,關于全閃、混閃的使用場景;數據從傳統存儲至閃存的在線遷移;閃存在使用及運維中的注意事項等,也困擾著廣大同仁。
社區不久前組織在線同行技術探討,圍繞“制造核心系統傳統存儲升級全閃存F900或混閃V7000F實施方案”進行了交流,其中若干分享內容,對大家有一定的參考價值,現由社區專家張志強整理如下。
1、 什么樣的公司需要使用閃存?閃存的應用場景有哪些?
■ chinesezzqiang 某制造企業資深技術專家
其實應該說是什么樣的應用場景需要。
閃存適合以下場景:
- 冷熱數據分離的場景;
- 高并發要求較高的場景,比如大數據的Kafka;
- 物聯網的數據抽取;
- 云平臺的虛擬機(云桌面)
2、 許多企業管理應用軟件已經逐漸往云端轉移,閃存存儲是否還優勢?
■ 鄧毓 某農信社資深骨干工程師
無論是遷往何處,應用對性能的極致需求是十分向往的,只要存在這樣的應用或者數據庫,那么全閃就能提供這樣的性能,其優勢就在于極致的IO響應時間、吞吐量和IOPS,這是目前傳統機械硬盤的存儲無法達到的。
■ chinesezzqiang 某制造企業資深技術專家
一般企業的核心系統是很難遷移到公有云的,比如SAP,ERP甚至生產企業用的MES等系統。所以閃存的優勢還是很強勢的,需求量依然很大。
3、 純閃存價格頗高,如何與現有的傳統存儲搭配,實現成本與性能的平衡?
■ 鄧毓 某農信社資深骨干工程師
全閃價格昂貴,考慮性價比,可以考慮混閃方案,存儲插槽支持固態盤和機械硬盤混插,存儲本身具備分層能力,分為高性能層和普通層,熱點數據自動進入高性能層運行,性能得到保證,冷數據依舊保持在普通層,保證容量。
■ coolmuch IBM存儲資深售前工程師
閃存價格現在是越來越低,單位TB的價格已經不會比15K轉盤高多少了。因此,建議重要的業務數據都可以采用閃存介質。數據備份、歸檔、大數據等可以采用NL_SAS盤。
4、 使用閃存能給公司帶來哪些好處?投入產出比為多少?
■ coolmuch IBM存儲資深售前工程師
- 投入產出比要根據每個公司的實際情況來評估,好處如下:
- 提升關鍵業務系統的運行速度,基本可以消滅存儲IO瓶頸。
- 減少機房空間占用,現在一臺2U高的閃存存儲可以在高性能的情況下提供高達PB級的存儲空間。相當于原來幾個機柜的存儲空間,現在只需要2U的空間即可。
- 節能,將現有存儲換成Flash存儲,存儲設備的耗電量也可以節省80%以上。
運維更簡單,管理員不用頻繁挑戰存儲的IO性能,提升業務的穩定水平。
5、與傳統存儲相比,性價比問題?
除去銀行、運營商對性能要求高的業務系統外,其他制造業對于性能要求不是那么苛刻,據了解一塊1.6t的ssd將近3萬,如何增加閃存盤的性價比?
■ coolmuch IBM存儲資深售前工程師
如果單純討論盤的容量和價格的對比,同樣容量下的閃存盤價格比普通盤要高。
但是,普通磁盤的性能很低,一塊15k轉的盤的IOPS約為250,10k轉的盤IOPS為180.如果要滿足一個2萬IOPS需求的數據存儲,需要大約100塊以上的傳統磁盤。而采用閃存盤就只需要一個RAID組即可。這個時候,采用閃存盤的價格甚至會更低,性能要高出很多,占用的機房空間也小,日常能耗也低。整體的性價比要比傳統存儲高出很多。
6、閃存是否在使用壽命方面不如傳統硬盤?
■ coolmuch IBM存儲資深售前工程師
需要澄清一下,閃存的壽命不如傳統硬盤的說法是不準確的。首先衡量閃存盤的壽命指標是單個數據塊的擦寫次數,只有數據塊被擦寫的時候才有磨損,因此讀是沒有磨損的。有人做過估算,一個每個數據塊可以允許5年每天擦寫1次壽命的1TBFlash盤,相當于1TB的數據存儲空間可以被重復寫入1800次,即可以寫入1800TB的數據。
衡量傳統盤壽命的指標是磁盤轉速,只要磁盤在轉就會產生磨損,無論讀寫。
因此在寫少讀多的應用上,閃存盤的磨損速度要比傳統盤低很多。結合實際的使用情況來看,目前大部分的閃存盤的可靠性要高過傳統盤。另外,用戶還可以根據自己對于寫IO的評估來選擇不同類型的閃存介質。
■ 鄧毓 某農信社資深骨干工程師
大家都詬病的閃存的壽命問題,我相信技術的進步帶來耐用性上的提高是顯而易見的,像健康裝箱和隔離、ECC保護、磨損平衡等。
7、新建數據中心如何選閃存?
■ coolmuch IBM存儲資深售前工程師
建議先規劃所需要的閃存的存儲容量和高可用級別。
對于高可用級別高的業務需求,可以采用SVC做本地雙存儲鏡像,后端采用兩臺F900作為鏡像存儲,提高可靠性。
另外,目前閃存的價格已經只比普通15k轉SAS盤高一些,建議可以盡量采用全閃存方案。
8、 存儲間數據遷移的有哪幾種常見方式?傳統遷移至閃存?
■ coolmuch IBM存儲資深售前工程師
數據遷移的方式有很多,在應用層、數據庫層、操作系統層和存儲層都有相應的解決方案。如果只談存儲層面,主要有以下兩種種方式可以參考:
- 數據復制:同品牌同系列的存儲設備之間往往都可以進行數據復制,新舊存儲設備之間可以通過數據復制技術來實現跨存儲數據遷移。某些閃存存儲和傳統存儲之間也可以數據復制,該方法也適用。
- 存儲網關:例如通過IBM SVC存儲網關就可以實現簡單的存儲在線數據遷移。如果現有環境中已經有SVC網關,那么只要將新存儲給SVC管理,然后將現有存儲的LUN遷移到新增的存儲池上,或者是鏡像到存儲池中都可以。SVC網關的數據遷移好處很多,包括:可以跨不同廠商的存儲設備進行數據遷移,可以在線遷移、可以調整數據復制的速度等。如果現有環境中沒有SVC,也可以通過增加SVC實現快速數據在線遷移。
■ 鄧毓 某農信 社資深骨干工程師
傳統存儲數據遷移至閃存可以參考如下四種方案:
(1)操作系統層數據鏡像方案
如 AIX LVM,步驟如下:
•映射閃存陣列的 LUN 至 AIX OS,并加入 VG。
•將原傳統陣列 LUN 和閃存陣列 LUN 做 LVM。
•同步完成后,找停機窗口,從 VG 中拆除鏡像,剔除原傳統陣列 LUN。
•重新激活 VG,并掛載數據文件系統,驗證。
(2)數據庫備份恢復和 OS 層面的克隆方案
如 數 據 庫 : DB2 BACKUP/RESTORE , ORACLE RMAN,OS 克 隆 : AIX ALT_DISK_COPY,VM SNAPSHOT,VM P/V to V 等,步驟如下:
•搭建新環境,該環境存儲采用閃存陣列。
•通過 OS 層面的克隆技術,將 OS 數據復制/遷移至新環境。
•通過數據庫層備份恢復,將數據庫數據恢復至新環境,并驗證。
(3)存儲本身自帶的 LUN 鏡像方案
如 IBM V9000 等,步驟如下:
•找停機窗口,將原傳統陣列 LUN 映射至 V9000。
•在 V9000 中,將原傳統陣列 LUN 數據鏡像(VDM)至 V9000LUN。
•待鏡像同步完成后,將兩個 LUN 主備關系反轉,閃存作為主存儲,原傳統陣列 LUN 作為備存儲。
•將兩個 LUN 虛擬化后形成的 VDISK 映射至主機,驗證,此時主機存在 V9000 和原傳統陣列兩份數據保護。
(4)存儲虛擬化網關的 LUN 鏡像方案
如 IBM SVC、EMC VPLEX 等,步驟如下:
•找停機時間,取消原傳統陣列 LUN 至主機的映射,將該 LUN 映射至虛擬化網關進行管理。
•虛擬化網關將該 LUN(mdisk)虛擬化成虛擬 LUN(vdisk),并映射給主機。
•創建 vdisk 的閃存陣列 LUN 鏡像拷貝。
•待拷貝完成后,將閃存陣列 LUN 置為主拷貝,原傳統陣列 LUN 置為備拷貝。
•驗證。
9、系統下線的話,我們應該用怎么樣的存儲對系統進行歸檔?
■ 鄧毓 某農信社資深骨干工程師
大容量硬盤的傳統存儲即可,但為了數據的冗余性和可靠性,最好該存儲具備遠程復制技術,能夠異步/同步將數據同步至災備端。
■ coolmuch IBM存儲資深售前工程師
對于系統歸檔,用大容量磁盤或者磁帶庫都是可以的,IBM的磁帶庫有提供文件系統接口,方便像文件一樣訪問,適合數據歸檔使用。另外數據歸檔設備的選擇更多的需要考慮歸檔軟件的支持。
10、 全閃存F900或混閃V7000F 是否是分布式架構?
■ coolmuch IBM存儲資深售前工程師
IBM F900和V7000F不是分布式架構,支持FC、iSCSI等接入方式。
IBM Flashsystem A9000R是分布式架構的全閃存存儲,可以作為企業內部的云存儲。
11、 全閃存F900或混閃V7000F應用場景和性能參數?
■ coolmuch IBM存儲資深售前工程師
全閃存F900適用于用戶需要極致的IO響應速度,對于存儲功能要求少的場景,或者結合SVC來使用。F900特別適用于關鍵應用加速、AI模型訓練等場景。
第一代F900配置12個模塊的SPC-1測試為40多萬IOPS,而且響應時間都在0.5ms以內。
V7000F適用于大部分的應用場景,具有豐富的存儲功能。V7000F的性能與所配置的閃存盤的數量有很大關系。
12、F900、V7000F后續擴容靈活性如何?
■ coolmuch IBM存儲資深售前工程師
IBM Flashsystem900 是按照12個模塊為一個整體的閃存存儲,強調的是設備的性能。如果需要擴展,建議搭配SVC來實現按套擴展。
IBM Storwize V7000F是可以靈活擴展的全閃存存儲,可以根據業務需要按需擴展,最大可以擴展到8個控制器,3000塊盤。
13、F900與傳統存儲搭配使用分層技術需要具備什么條件?
■ coolmuch IBM存儲資深售前工程師
F900本身是沒有分層功能的。因此和傳統存儲的搭配使用需要額外的軟硬件設備進行分層。有以下兩種:
- 對于SAN類型的存儲應用,建議搭配SVC網關來實現分層,SVC可以做數據在Flash介質和普通盤之間的自動分層,也可以提供簡單的界面操作進行手動分層,根據需要將熱點數據手動遷移到Flash存儲池。并且可以配合IBM Spectrum Control軟件進行IO的監控,作為數據遷移的依據。
- 對于非結構化數據(文件類型),建議搭配IBM Spectrum Scale(GPFS)并行文件系統進行數據按照策略在線遷移。
14、全閃存的數據安全問題?
傳統環境下機械硬盤出現故障還能做物理上的數據恢復,閃存真要是壞了,怎么處理?
■ 鄧毓 某農信社資深骨干工程師
閃存模塊間也有RAID保護,整個模塊故障了,數據不丟失,熱備盤頂上,再更換新模塊,進行RAID重建,這點與傳統機械硬盤的RAID保護是一樣的。
另外,全閃技術比傳統硬盤更高級的地方在于,閃存模塊內部芯片級和平面級的保護,閃存芯片間存在可變條帶化RAID,某一個芯片級的故障,數據不丟失,重新條帶化,建立新的RAID保護,對存儲使用者來說,無任何感知,這一切自動完成。