閃存的發展趨勢和影響
如今,基于閃存技術的SSD硬盤技術得到了快速發展,并成為推動系統內存和存儲層次結構性能提升的關鍵因素,這些系統具有廣泛的使用案例,并且可以在云端和本地部署數據中心應用中時提高性能,或作為混合存儲系統架構的一部分。
企業SSD硬盤使用量在過去五年中的增長令人印象深刻。根據Gartner、The Register和Stifel幾家調研機構最近發布的行業數據,2012年至2017年間,企業級SSD硬盤市場收入從30億美元增長到114億美元,復合年增長率超過30%。與對應的HDD硬盤相比,企業SSD硬盤使用量的增長十分顯著。根據Gartner、The Register、Stifel在2017年提供的最新行業數據,企業級SSD硬盤的市場規模超過了企業級HDD硬盤的市場規模 。
近年來SSD硬盤的迅速發展導致了各種內存和存儲技術的創新發展,這些創新的產品正大量應用在內部部署的數據中心和云端。
此外,基于閃存的SSD硬盤的可用性已經實現了廣泛的創新解決方案,增加了基于閃存的SSD硬盤的整體價值和適用性。
這些包括:
- 英特爾公司的“Optane內存加速器/擴展器方案”旨在通過閃存的功率和非易失性提供類似內存的性能。
- 軟件定義存儲,例如WekaIO公司的存儲設計,旨在無縫集成SSD硬盤和HDD硬盤,以優化性能和成本。
- NVMe over Fabric,旨在通過廣泛的網絡擴展SSD設備的域和范圍。
這些和其他NAND/SSD的發展將有助于SSD硬盤的日益普及,并確保計算機設計人員和用戶在選擇有效的內存/存儲層次結構時擁有最佳可用選項。
NAND閃存和SSD:彌合內存和硬盤之間的差距
跨越從桌面電腦到高性能計算(HPC)的IT設備范圍的計算機設計人員越來越多地尋求通過使用更復雜的內存/存儲層次結構來提高系統性能的方法。然而,這些設計師在價格和性能折衷方面面臨著相當大的設計復雜性。
通常,具有更快訪問速度和更高數據帶寬的較低存儲容量的設備(例如內存)是存儲器/存儲層次結構中最昂貴的元件,但是可能對計算機的整體性能具有最直接的影響。與其相反,盡管與基于閃存的同類儲能產品相比,數據訪問時間較慢,數據帶寬能力也較低,機械硬盤每單位存儲的成本要低得多,并且可以提供比內存更多的存儲容量。
在過去幾年中,NAND閃存設備領域的技術進步已經產生了新的存儲器和存儲技術(SSD硬盤),而從系統設計者的角度來看,可以在性能和成本指標方面彌補內存和HDD硬盤之間的差距。
?在最基本的層面上,NAND閃存是一種非易失性(NV)半導體存儲器件,即使存儲器件斷電,也可以安全地存儲數據。相反,內存需要持續供電以保持存儲的數據完整。NAND芯片及其封裝方案直接關系到它們是用作與HDD硬盤,協同工作的SSD硬盤,還是用作基于內存補充的增強主存儲器。
?然而,NAND閃存設備并不是目前SSD硬盤中唯一使用的設備選項。一個值得注意的例子是英特爾公司的Optane SSD硬盤,它使用稱為3D XPoint的專有高性能技術,與NAND閃存一樣具有非易失性,但可以提供更好的耐用性和更快的數據訪問時間。此外,與內存的情況不同,3D XPoint芯片中的每個存儲單元在每個存儲位置都不需要開關晶體管,從而存儲密度比內存要高8倍至10倍。
隨著更低成本和更大存儲容量閃存設備的出現,IT設計人員和用戶越來越多地轉向基于非易失閃存(NV)的SSD硬盤,以優化其整體內存/存儲層次中的數據訪問和傳輸時間。基于閃存的SSD硬盤具有許多優點:
- 速度:使用SSD硬盤的主要好處是在延遲和IO方面的性能是HDD硬盤性能的100倍。這意味著更快的啟動時間、更快的文件傳輸,以及更高的企業計算帶寬。
- 總擁有成本或TCO:雖然HDD硬盤的硬件成本較低,但SSD硬盤的帶寬成本可能低得多。對于企業而言,這通常比獲得簡單驅動能力更重要。預計企業級固態硬盤的使用壽命也會延長,從長遠來看可以節省成本。
- 功耗:通常SSD硬盤比HDD硬盤消耗更少的電能。與HDD硬盤相比,這可以節省成本,并且在運行期間減少熱量產生。
NVMe協議的崛起
在SSD硬盤出現的早期,從2005年到2010年,大多數固態硬盤都使用已建立的通信總線標準,如SATA或SAS,以便與計算機系統的其余部分連接。但是,由于這些協議是針對HDD硬盤的性能規格而設計的,因此隨著時間的推移,它們越來越不足以滿足SSD硬盤的典型訪問時間和更高的數據速率。2011年發布了專門針對SSD硬盤開發新標準的努力。
這個名為NVMe的新主機控制接口是一個開放式邏輯設備接口,從頭開始設計,充分利用基于閃存存儲設備的低延遲和內部并行性。從本質上講,NVMe是一種允許SSD硬盤在計算機中有效使用高速PCI Express總線的規范。目前,NVMe適用于各種外形的硬盤。
NVMe功率范圍涵蓋全功率企業設備和低功耗移動設備,并且在大多數主要操作系統(包括Linux、Windows、Unix和VMware)中提供廣泛支持。NVMe在機械磁盤和基于SATA的SSD硬盤的性能優勢令人印象深刻。
基于閃存的SSD硬盤存儲市場增長強勁
企業級SSD硬盤在過去五年中的增長令人印象深刻。根據Gartner、The Register和Stifel最近提供的行業數據,2012年至2017年間,企業級SSD硬盤市場收入從30億美元增長到114億美元,復合年增長率超過30%。
這種增長是由多種因素共同推動的:
- 針對SSD硬盤存儲單元必不可少的NAND芯片具有強大且極具競爭力的供應商基礎。
- NAND閃存供應商和SSD硬盤開發人員的重大技術進步解決了NAND芯片的一些固有技術缺陷(例如寫入時間長,讀/寫周期有限)。
- 技術和企業用戶群中越來越多的用例,用于響應更快的內存/存儲層次結構,為越來越苛刻的多核CPU和許多核心GPU處理器設計提供數據。
- 大數據分析應用程序的興起,其中許多具有實時、獨特、結構化和非結構化數據訪問和分析要求。
與對應的HDD硬盤存儲相比,企業SSD硬盤使用量的增長令人印象深刻,如圖1所示。根據Gartner、The Register和Stifel在2017年提供的最新行業數據,銷售的企業級SSD硬盤的市場規模首次超過了企業HDD硬盤。2017年,企業SSD硬盤的銷售額達到了115億美元,超過了銷售額略高于110億美元的HDD硬盤。
- 2012年,企業HDD硬盤的市場收入幾乎是同類SSD硬盤的三倍(分別為88億美元和30億美元)。
- 2012年至2017年間,HDD硬盤的收入增長了4.4%,而SSD硬盤在同一時間段內的復合年增長率超過30%。

圖1 全球企業級HDD硬盤和SSD硬盤的市場收入
IDC和Stifle公司最近的估計顯示,SSD硬盤/HDD硬盤定價比率將繼續下降,如圖2所示。根據這一預測,到2021年,每GB 的SSD硬盤價格僅為對應容量的HDD硬盤的兩倍。

圖2 每GB 的SSD硬盤與HDD硬盤價格(美元)
基于閃存的SSD硬盤在數據中心的應用
近年來SSD硬盤的迅速發展導致了各種內存和硬盤創新的發展,這些創新已經應用在內部數據中心和云端。
這些創新包括:
(1)HDD硬盤文件系統的數據緩存
在通常情況下,企業或技術計算系統將最活躍數據的臨時副本存儲在基于閃存SSD硬盤中,并將相同數據的永久副本存儲在對應HDD硬盤上。選擇存儲在緩存中的數據至關重要,因為緩存的存儲容量比HDD硬盤系統小得多。高速緩存數據選擇算法嘗試確保在需要時高速緩存中最活躍的數據可用。這種選擇過程是這種高速緩存系統整體性能的關鍵決定因素。
這有很多優點:SSD硬盤提供了顯著改善訪問時間和數據帶寬的功能,而HDD硬盤可以以較低的存儲價格,提供更大的整體存儲容量。此外,使用此類緩存允許設計人員優化系統的互連方案,以支持較小的緩存系統,而無需開發高性能且成本更高的網絡來訪問整個HDD存儲基礎架構。
(2)混合SSD/HDD硬盤陣列
在混合HDD/SSD硬盤陣列中,計算機的整體存儲系統由HDD硬盤和SSD硬盤組成。根據包括總體預算、數據訪問和帶寬要求、互連方案、電源和冷卻功能,以及預期系統工作負載的數據訪問模式可預測性和影響等因素,HDD/SSD硬盤陣列組合的確定可能會有很大差異。在這里,人們對SSD硬盤與HDD硬盤價格/性能的權衡,需要徹底了解哪些數據需要駐留在哪種類型的存儲硬件上,以便利用每種類型的最佳功能。
- 混合陣列方案的一個優點是,可以根據有關工作組合,預算增加或甚至新要求的新信息或不斷變化的信息,直接將SSD硬盤、HDD硬盤或兩者的組合添加到整個存儲系統中關鍵應用程序的性能改進。
- 盡管具有這些優勢,但混合存儲陣列需要一定數量的數據,這些數據由控制軟件完成,該控制軟件持續監視SSD硬盤和HDD硬盤之間用戶數據的放置和遷移,以優化整體性能和成本。錯誤放置的數據可能會導致性能影響最小甚至降低。
(3)突發緩沖區
突發緩沖區是基于閃存NAND的SSD硬盤的一個特定應用,其駐留在專用節點上,該節點橋接給定計算系統的內部互連和通過系統I/O節點訪問的存儲系統的整體結構。
從本質上講,突發緩沖區是一組分布式節點,包含板載處理能力和內存容量,可與系統內存(副存儲)系統緊密集成,可以管理用戶作業的快速存儲,提供緩存服務,支持傳輸分析和處理,并為小型塊的傳輸啟用加速應用程序支持。
(4)全閃存
顧名思義,所有閃存都是基于閃存的SSD硬盤專用于系統的存儲而無需使用HDD硬盤。然而,盡管從性能角度來看,SSD硬盤具有諸多優勢,但在目前大多數情況下,SSD硬盤的價格與對應HDD硬盤的價格相比,限制了全閃存存儲系統的使用。
SSD硬盤在許多企業系統中的總體應用趨勢將成為一個越來越廣泛的存儲選擇,最初是那些具有嚴格和明確定義的性能要求,但隨著SSD硬盤和HDD硬盤之間的成本差異縮小而擴大其應用。
閃存存儲趨勢值得關注
在基于閃存的整體SSD硬盤領域中,許多趨勢/發展為越來越多的計算機體系結構,數據中心配置和用戶工作負載帶來了額外的性能提升。無論是單獨工作還是與其他SSD硬盤技術協同工作,這些開發中的每一項都有助于進一步推動閃存在整個IT服務器生態系統中的廣泛采用。
3D NAND:基于閃存的SSD硬盤推動增長
NAND閃存是提高SSD硬盤成本、耐用性和讀/寫性能的最大因素,而3D NAND技術的出現,使得多層存儲單元垂直堆疊,對SSD硬盤容量和功能的最新改進做出了重大貢獻。3D NAND閃存在比2D NAND閃存更小的物理空間中提供更高容量的潛力。與NAND閃存相比,3D NAND可降低存儲成本,改善電氣使用,以降低功耗,提高可靠性,并提供更高的數據寫入性能。
最新的頂級企業級基于3D NAND的SSD硬盤設備具有令人印象深刻的功能,其中包括:
- SSD硬盤存儲容量超過11TB
- 5.5GB/s的順序讀取和高達3.5GB/s的順序寫入
- 平均故障時間(MTTF)為300萬個設備小時
- 功耗低于6W
- 更換24個HDD硬盤機架的容量(基于IO/s性能)
- 尺寸為2.5英寸
從圖3中可以看出,根據IC Insights公司的行業調查數據,全球生產的所有NAND閃存中約有25%用于SSD硬盤(客戶端和企業),僅次于智能手機,但遠遠領先于存儲卡。然而,許多業內人士預計,基于閃存的固態硬盤的價格/性能選擇的增加,企業級存儲方案中對快速內存的新需求以及智能手機銷售增長的預期放緩可能會推動固態硬盤的發展,并在未來幾年處于前沿。NAND閃存市場由許多技術領先的供應商公司提供,其中包括英特爾、美光、三星、SanDisk,以及SK海力士,這幾家公司都有強大的研發力量,并將其NAND閃存開發路線圖擴展到未來十年。SSD硬盤作為閃存設備的最大消費者的出現,確保了閃存制造商將其開發工作集中在最適合SSD硬盤要求的芯片上。
圖3 2018年在全球分銷NAND閃存產品分布
英特爾Optane存儲系統:擴展快速存儲性能
英特爾公司的Optane存儲系統開發旨在解決內存和磁盤之間的性能差距,并充分利用了英特爾公司先進的半導體設計和生產能力。以及與其自己的處理器直接通信的能力。
Optane內存的目標不是替代基于閃存的SSD硬盤,而是作為基于DRAM的內存擴展器或快速緩存設備,可與更傳統的3D NAND閃存SSD硬盤配合使用,如圖4所示。
Optane存儲系統旨在將內存的快速訪問時間和長續航能力與NAND閃存的密度和非易失性的優勢相結合。Optane存儲器模塊于2015年推出,基于一種名為3D XPoint的新型半導體存儲設計,該設計使用垂直導線的交叉點結構來訪問單個存儲單元。

圖4 英特爾Optane SSD用例
3D XPoint芯片的優勢很多:它們像NAND同類產品一樣具有非易失性,但具有更高的耐用性和數據訪問時間。此外,與DRAM內存中的情況不同,3D XPoint芯片中的每個存儲單元在每個存儲位置都不需要采用開關晶體管,從而允許比DRAM內存更高的存儲密度提高8倍至10倍。
此外,英特爾公司可以通過PCIe總線或非常快的DDR總線直接支持其處理器和Optane SSD硬盤之間的互連選項,充分利用提供集成處理器/內存子系統的優勢。然而,由于該技術相對較新且制造復雜,3D XPoint芯片目前的總存儲容量遠小于領先的NAND芯片,目前Optane產品僅在16和32GB范圍內,遠低于SSD硬盤TB級范圍的容量。
NVMe Over Fabric
如前所述,NVMe協議是一種允許SSD硬盤在計算機中有效使用高速PCI Express總線的規范。該規范雖然在單個計算機系統中有用,但不支持跨網絡的SSD硬盤訪問。為解決該問題,NVMe over Fabrics(NVMeoF)旨在使低延遲NVMe SSD硬盤能夠以最有效的方式擴展到網絡,從而簡化設計,降低開銷,并提高性能。
大約90%的NVMeoF協議與本地NVMe相同,其中包括NVMe命名空間、I/O和管理命令,寄存器構造,異步事件管理。主要區別在于標識符命名約定和數據傳輸配置。
軟件定義存儲
軟件定義存儲(SDS)是一種相對較新的存儲范例,基于服務器的軟件管理數據存儲資源和功能,并且不依賴于底層物理存儲硬件方案。與存儲區域網絡(SAN)和網絡附屬存儲(NAS)系統不同,軟件定義的存儲產品使用戶能夠單獨(并且更優化)管理存儲硬件和軟件。
- 軟件定義存儲(SDS)產品的共同特征包括聚合存儲資源,跨服務器集群擴展系統,通過單個管理界面管理共享存儲池和存儲服務,以及設置策略以控制存儲特征和功能。
- 軟件定義存儲的一個關鍵特性是它可以提供集成的數據管理容量,該容量可在整個文件系統中集中管理。此功能可以減少對數據高速緩存的需求,例如傳統文件系統(如Lustre或GPFS)常見的突發緩沖區,同時在小文件、元數據或隨機I/O操作上提供卓越的性能。
在許多情況下,軟件定義存儲(SDS)供應商希望將SSD硬盤集成到整個內存/存儲層次結構中,以便將SSD硬盤的優越訪問時間和數據帶寬與基于云計算的HDD硬盤的靈活性和經濟優勢相結合。WekaIO公司提供了一個示例,為此提供了一個閃存原生并行文件系統,這是一個純軟件解決方案,旨在優化NVMe、SAS或SATA SSD上的閃存性能,并管理數據遷移到基于云計算的HDD硬盤存儲在本地或在公共云中運行的系統。
WekaIO基于Matrix 3.0軟件的橫向擴展存儲解決方案經過優化,可利用閃存技術的性能,無論是隨機還是順序支持大小文件訪問。它可以本地部署在云端,將計算和存儲集成到應用程序集群中,也可以作為專用存儲服務器(設備模型),從而消除數據中心成本和復雜性。
管理數據移動和促進高速數據的WekaIO Matrix v3.0軟件可在各種用例中提供顯著的性能,包括大數據分析、生命科學、金融服務以及關鍵的應用程序,如氣候變化模擬,地震模擬和空間研究。
WekaIO SDS的一個引人注目的用例是在深度學習領域,從存儲到計算機的GPU補充的訓練數據的數據傳輸問題是一個關鍵的性能瓶頸。在這種情況下,WekaIO軟件部署在通過以太網或InfiniBand低延遲網絡互連的專用服務器集群上。服務器集群資源(CPU、內存、網絡連接、SSD硬盤)分配給WekaIO軟件。在此設置中,WekaIO SDS可以為每個GPU提供完整的5GB/s,同時利用S3兼容的基于HDD硬盤的對象存儲,實現大規模的經濟高效存儲。圖5提供了用于深度學習基于GPU的解決方案的WekaIO存儲解決方案的示例架構。

圖5 適用于GPU集群的WekaIO SSD存儲解決方案
未來的展望
基于閃存的固態硬盤將繼續發展,它們可能成為推動具有廣泛用例系統的內存/存儲層次結構性能提升的關鍵因素,并且可以在本地運行時提高性能,在云端或作為混合系統架構的一部分。
3D NAND芯片和隨后的NAND芯片架構的進步,再加上使用它們的基于閃存的SSD設備,對于整個SSD領域尤其是高性能存儲系統來說是個好兆頭。從速度、功耗以及越來越多的總體擁有成本(TCO)角度來看,基于閃存的SSD硬盤與HDD硬盤相比具有明顯的優勢。
基于閃存的SSD硬盤的推出使得各種創新解決方案得以實現,其中包括英特爾公司的“Optane內存加速器/擴展器”,旨在提供類似內存的性能以及閃存的功率和非易失性,以及來自WekaIO的軟件定義存儲無縫集成SSD硬盤和HDD硬盤,以優化性能和成本;采用NVMe over Fabric,旨在通過廣泛的網絡擴展SSD硬盤的領域和范圍。這些以及其他開發工作將會促進SSD硬盤的日益普及,并確保計算機設計人員和用戶在考慮高效的內存/存儲層次結構時擁有最佳可用選項。