在數據中心開始從機械硬盤向固態硬盤(SSD)轉換后不久，NVMe協議就開始支持高性能直接附加的PCIe SSD。緊隨NVMe之后的是NVMe over Fabrics(NVMe-oF)，旨在高效地支持超大型遠程SSD池，有效地取代直接附加存儲(DAS)，進而成為云基礎設施中分離式存儲的默認協議。

[[401676]]

最近推出的NVMe over TCP可提供更強大的NVMe-oF技術，能夠在降低部署成本和設計復雜度的同時提供更高的性能。本質上，NVMe over TCP使用簡單高效的TCP/IP結構將NVMe擴展到了整個數據中心。

商業和技術咨詢公司Capgemini North America的IT主管Eric Killinger說：“能夠在高帶寬、低延遲的情況下進行通信，在存儲陣列之間實現物理隔離，以及添加包含TCP協議的普通交換網絡進行傳輸，無疑將改變游戲規則。超大型云服務提供商已經采用這項技術以取代已有二三年歷史的SSD技術，從而為數據分析和物聯網提供了更大的查詢訪問能力。

背景：NVMe和NVMe-oF的出現

由NVMe SSD構建的存儲陣列極大地提升了存儲速度，但是這些設備仍然通過基于SCSI的主機連接與服務器進行通信。NVMe-oF的部署可以跨交換結構支持基于NVMe的塊存儲設備遠程直接內存訪問(RDMA)。

技術研究公司IDC的基礎設施系統研究副總裁Eric Burgener說：“這是一種專門為固態存儲優化的高性能存儲網絡協議，其提供了更低的延遲、更高的帶寬、并行性和更高的效率。”

NVMe-oF 適用于光纖通道(FC)、以太網和InfiniBand等不同類型的網絡傳輸。在以太網中，用戶還可以選擇RoCE(RDMA over Converged Ethernet)、iWARP以及TCP等不同的傳輸選項。

缺點是FC、InfiniBand、RoCE和iWARP選項都需要定制的主機總線適配器和驅動程序，這使得它們的部署和維護既困難又昂貴。Burgener說：“NVMe over TCP是一個真正的行業標準，可與幾乎所有的企業服務器上的標準聚合以太網適配器配合使用。”此外，大多數重要的Linux變體如今在其標準發行版中都含有NVMe-over-TCP驅動程序。

Burgener說：“作為一個已發布且被廣泛接受的標準，從長遠來看，它們將主導NVMe-oF的部署。雖然部署成本也較低，不需要標準Linux或以太網適配器之外的升級計劃，但是它們的延遲比RoCE要高一些。迄今為止，RoCE是另一種被廣泛部署的以太網選項。”

RoCE和iWARP都支持RDMA，而FC和TCP則不支持RDMA。雖然支持RDMA可稍微降低延遲，但是所有這些方法都比基于普通SCSI的存儲網絡技術(如FC和iSCSI)提供了顯著的性能改進。

NVMe/TCP的部署和應用

用戶采用NVMe/TCP的一個主要原因是其提供一個低延遲的共享存儲解決方案。

Burgener說：“如果用戶有一個基于NVMe的全閃存陣列，但是該陣列仍然通過基于SCSI的存儲網絡連接到服務器上，那么用戶可能會遇到很多性能問題，并且固態存儲資源使用效率也不高。如果用戶希望讓所有的應用程序都能夠享受到基于NVMe的全閃存陣列的性能，那么用戶這時需要用到NVMe-oF存儲網絡。”

對于大多數企業而言，最終的傳輸選擇將取決于已部署的技術或是規模與性能要求。

Burgener說：“FC是滿足后一種要求的最佳傳輸方式，但是隨著高帶寬以太網新版本的不斷推出，這種區別正在不斷縮小，因為以太網可通過更高的帶寬處理更多的工作負載。一些對性能非常敏感的應用程序使用FC作為NVMe-oF的傳輸層會更好，不過隨著時間的推移，這類應用程序會越來越少。”

如果企業已經有了FC網絡，那么在其上部署NVMe-oF就相對容易些，因為許多企業已經在這樣做了。Burgener認為，大多數新建企業還是會選擇部署以太網，而TCP最終將勝出。

Burgener說：“在應用程序方面，我們將會看到NVMe over TCP被用于由人工智能/機器學習(AI/ML)驅動的大數據分析工作負載當中，特別是在要求實時的情況下。另一個重要意義在于，環境已將大量工作負載整合到單個存儲陣列上，并且需要能夠在高工作負載密度下提供出色的性能。”

[[401677]]

雖然AI/ML驅動的大數據分析應用正在增長，但是該領域仍處于新興階段。更為直接的原因在于，NVMe/TCP在基于閃存的超大存儲部署環境中受到了越來越多的關注，尤其是在大量低延遲數據必須通過現有的高帶寬交換網絡被快速訪問的情況下。

Killinger說：“超大規模是這項技術的天然消費者，因為它們可以實現閃電般的數據訪問，并允許數據分布在多個數據中心內，同時它們還在電網、冷卻和本地化的高可用性體系結構方面具有優勢，不會帶來的額外成本。”

NVMe/TCP還可以允許用戶利用現有的交換網絡技術。這些技術已經商品化并可從許多原始設備制造商處獲得。Killinger說：“與Infiniband或光纖通道相比，連接多個10G以太網端口的每個端口的成本使得利用NVMe的TCP堆棧成為可能。”

Burgener指出，許多高端存儲用戶已經致力于FC存儲網絡，并且已經或正在計劃升級到RoCE。不過，這種情況在未來幾年可能會發生變化。

Burgener認為，隨著存儲基礎設施越來越多地轉向固態存儲，用戶也將越來越關心基礎設施的效率，NVMe over TCP將明顯優于SCSI，而且成本低廉，易于部署。

NVMe-over-TCP的可用性

NVMe及其規范由NVM Express擁有和維護，NVM Express是一個由網絡、存儲和其他IT相關公司組成的聯盟。NVMe規范于2011年發布，其定義了主機軟件如何通過PCI-Express(PCIe)總線與非易失性內存通信，目前已成為PCIe SSD的行業標準。NVMe/TCP于2018年獲得NVM Express的批準。

從目前的情況來看，對NVMe/TCP的支持主要來自Mellanox Technologies等網絡供應商，以及Lightbits Labs、Excellero、Pavilion Data和Infinidat等存儲初創公司。SSD芯片制造商Kioxia也支持NVMe over TCP。

NVMe/TCP可用性預計將在未來幾年快速增長。Burgener預測稱：“盡管大多數主要的企業級存儲供應商還沒有動作，但是他們可能會在未來12~18個月內推出相關的產品。”

雖然大規模的NVMe-over-TCP部署在短期內是一個障礙，但是它們很可能轉化為一個長期的成功。

Killinger說：“大多數IT公司都在嘗試公有云服務，估計有超過90%的業務部門在使用一個或多個公有云。同時，IT更新率一直呈下降趨勢。對于用高端的NVMe技術更新老化的存儲基礎設施，許多公司沒有編列足夠的預算資金。盡管如此，一些公司開始嘗試用公有云服務提供商來替代自己的企業IT服務。這正是NVMe over TCP大顯身手的地方，其增長速度將是企業IT購買力的數倍。”

Burgener認為，NVMe/TCP的未來前景光明，但是部署率可能要到2022年或2023年底才會真正開始上升。Killinger也樂觀地認為，NVMe/TCP最終將成為主流技術。他說：“我沒有找到NVMe over TCP不會蓬勃發展的理由，甚至在未來幾年它們還會加速SSD的部署。”他預計，SSD存儲OEM廠商很快就會進行大規模的市場推廣，并積極拓展其產品在NVMe over TCP上的性能。