全閃存陣列是存儲未來 如何兼顧高性能與高可用性是關鍵
剛過去的天貓雙十一支付峰值為25.6萬筆/秒,數據庫處理峰值為4600萬次/秒;而一個證券交易平臺高峰期系統需要處理數萬甚至十幾萬筆交易,而這背后閃存的廣泛應用功不可沒。但就存儲介質性能而言,一個主流NVMe SSD的IOPS能夠達到50萬甚至接近100萬,延遲卻低于100μs,相對于IOPS只有不到200、延遲ms級的HDD,SSD推動存儲介質性能實現了質的飛躍,而這之后,全閃存陣列應運而生。
從無到有 從有到優的全閃存陣列
早期的全閃存陣列以Violin Memory以及TMS(后被IBM收購)為代表,其特點是通過復雜的硬件架構實現設備的高性能,這兩家公司打開了全閃存陣列市場的大門,但是由于設備軟件功能不足,易用性較差最終走向衰落。此后主流存儲廠商開始嘗試改良自己的磁盤陣列推出全閃存或者混合陣列,這樣的陣列借助原有存儲系統成熟的架構能夠很好的服務于上層業務,但是閃存與磁盤特性上有著本質的不同,所以這樣的產品在性能上有著無法突破的瓶頸。
隨著閃存技術的不斷演進,全閃存陣列的設計思路也越來越清晰,那就是既要有閃存的高性能又要具有傳統陣列豐富的軟件功能,如今閃存陣列已經發展至第四代,以華為的OceanStor Dorado V3的全閃存陣列為代表。
從組件到系統級的技術革新 實現極限性能以及6個9高可用性
為了追求性能極限,華為從底層的SSD到上層的資源管理算法和系統都進行了***針對性的設計。首先華為擁有自研的SSD控制器芯片,包括FTL在內的SSD核心功能和算法都放在控制器芯片中實現,性能高并且不會過多占用系統CPU資源。
第二,基于FlashLinkTM的盤控配合技術,這項技術通過SSD驅動與控制器軟件的配合,將數據更均勻的分配到每一塊SSD盤中,并根據SSD盤的狀態動態調整分配算法。在此基礎上,磨損均衡以及垃圾回收等操作會更加高效,比如系統會定期向 SSD 控制器查詢盤片磨損程度,并將磨損程度高低作為分配空間的判斷依據之一,從而實現了全局的磨損均衡。
華為FlashLink盤控配合技術概述
華為OceanStor Dorado V3 的FlashLink是華為為全閃存陣列而設計的一系列算法集合,包含有大塊順序寫、元數據獨立分區以及I/O優先級調整等技術。大塊順序寫是指系統將多個離散的數據塊在控制器內存中進行聚合形成一個大數據塊,順序寫入SSD,如此可以減少SSD的垃圾塊;元數據獨立存放指可控制器可以自動感知硬盤內的數據布局,在控制器和SSD盤內同步執行元數據與數據的分離存放操作;FlashLink還會對I/O優先級別進行了標識并進行智能調整。數據讀寫請求高于Cache批量寫、硬盤重構等I/O,保障優先的業務數據讀寫在***順序響應。
在FlashLink以及高性能的SSD支持下,華為OceanStor Dorado V3可以實現400萬IOPS,0.5ms穩定時延。另一方面,高性能的基礎上,高可靠和高可用是全閃存陣列的必備特性。華為OceanStor Dorado V3全閃存陣列可以實現6個9高可用性,并且允許3盤同時失效,實現如此高標準的可用性,依靠的是華為全面的數據保護技術。
首先華為SSD的MTBF可以達到業界***的300萬小時,擁有LDPC以及SSD內部RAID等高可靠技術。
其次,華為的RAID-TP技術采用每個條帶生成 3 個校驗數據,允許同一RAID組內3塊盤失效,重構1TB數據時間在30分鐘以內。
方案層面,華為OceanStor Dorado V3可以提供免網關雙活解決方案,這一方案支持兩個數據中心的存儲同一個 LUN 支持業務同時讀寫,正常情況下提供業務負載分擔部署,實現跨數據中心的業務負載均衡。免網關的設計使得系統組網簡單,容易部署;減少一個故障點,可靠性更好;同時避免了網關設備額外引入的約1~1.6ms的時延,性能更好。
如果說高性能與高可靠是全閃存陣列的必備特性,那么重復數據刪除、便捷的管理以及靈活部署則是全閃存陣列的升級版亮點。華為OceanStor Dorado V3一大亮點就是重復數據刪除功能。
華為OceanStor Dorado V3在數據庫和虛擬化場景下數據縮減承諾
用戶數據進入系統后,Cache 先緩存數據,此時系統會對數據進行分塊(默認為8K),接著生成數據塊指紋并與系統指紋數據進行對比,沒有相同的指紋則將數據塊寫到SSD上并記錄新指紋,當比對成功,就不再進行數據落盤操作,而是增加指紋計數。需要指出的是在線重復數據刪除不會影響OceanStor Dorado V3的性能,當前所有OceanStor Dorado V3的測試數據也是在這項功能開啟時測得的。
華為OceanStor Dorado V3作為新一代全閃存陣列,從組件到系統都是針對閃存特性而設計,性能與可靠性都能全面滿足數據庫、虛擬桌面等企業級應用需求,同時OceanStor Dorado V3處于華為聯手云計算、存儲、操作系統、網絡以及系統集成商等合作伙伴打造的完整生態之中,客戶可以借助這一生態平滑的將自己的業務遷至全閃存陣列上。
未來,華為將把新存儲介質(比如SCM)、NVMe over Fabrics等技術全面融入到全閃存陣列中,推動數據中心全面進入全閃存時代。
全文結束--