NVMe SSD的性能有多高？常見PCIe 3.0 x4通道的NVMe SSD，4KB隨機讀取性能接近80萬IOPS已經不是新鮮事，采用PCIe x8通道的NVMe SSD更是可以獲得100萬+的IOPS。

性能高也有“煩惱”，比如我們突然發現CPU的性能不夠了——硬盤時代，大家常說存儲是系統的性能瓶頸，經過SATA SSD的過渡，PCIe到NVMe SSD，終于把CPU變成了瓶頸。提高CPU性能有兩大手段：高主頻與多內核。不管用哪個手段，最終都反應為能耗的一路攀升。今年7月剛剛發布的至強可擴展處理器（Xeon SP）功耗已經突破200W，比上一代的至強E5 v4高出近50%，對普遍采用風冷散熱的通用服務器而言，結構設計的功力空前重要。

并且，NVMe SSD的性能發揮的前提是高速的PCIe通道。一個U.2接口的NVMe SSD需要PCIe x4，而每個至強SP提供48條PCIe 3.0通道，比前代提高20%。雙路至強SP服務器共有96條PCIe 3.0通道，全部用上正好支持24個U.2的NVMe SSD，剛好對應主流2U服務器的24個前置2.5英寸盤位設計。即使考慮到PCH、網卡以及其他必要組件也要占用PCIe通道，實際上能支持的NVMe SSD數量不會有那么多，但CPU也未必吃得消啊……

考驗服務器設計能力的時候到了，尤其是U.2 NVMe SSD的加入。一方面2U標準機箱內的高性能（通常意味著高能耗）組件更多，需要更好的散熱設計；另一方面，如何去兼顧NVMe SSD的性能，同時繼承雙路服務器“多面手”的優良傳統？ 

新處理器的推出必然帶動新一輪服務器升級，在英特爾正式發布至強SP家族的當天，戴爾也同步推出了基于該系列處理器家族的第一波14G服務器，包括肩負更新主流2U市場重任的PowerEdge R740/R740xd。在2017戴爾科技論壇（DTF）舉辦之前，企事錄實驗室獲得了一臺配置誠意滿滿的Dell PowerEdge R740xd服務器：雙路Xeon Gold 6130處理器（8張圖速覽新至強：Skylake架構、外貌與型號）、384GB DDR4-2666內存，雙M.2 SSD配置的BOSS（Boot Optimized Storage Solution，優化啟動存儲方案）卡，（支持RoCE的）雙端口25GbE網卡，以及最重要的4塊U.2 NVMe SSD。

[[202985]]

乍一看，作為新一代的R740xd跟以前的13G服務器好像沒什么區別，但細看卻大有不同。先看前面板，注意最右4塊盤，就是高性能的U.2規格NVMe SSD，來個特寫：

4塊800GB的U.2 NVMe SSD，加上內部的Xeon Gold 6130處理器和384GB內存，讓我們充滿期待。

[[202986]]

R740xd內部照，尾部的兩個PCIe ×16插槽上各連接了一個扣著銀色散熱片的PCIe Card，這實際上是連接前面板U.2 NVMe SSD的PCIe擴展卡。

[[202987]]

這是PCIe擴展卡的核心——基于PLX的PCIe Switch芯片，采用PCIe 3.0 x16接口，分為AB兩個端口，每個端口是PCIe x8規格，支持兩塊x4的U.2 NVMe SSD。因此一塊卡可以全速連接4塊U.2 SSD。

Dell PowerEdge R740xd服務器中的U.2 NVMe SSD連接示意圖，最大可支持12個U.2 SSD，或者最大24塊SATA/SAS SSD或者HDD，亦或兩者按比例混插。

再看看R740xd中的PCIe通道分配情況：

根據企事錄手里的這臺戴爾 R740xd服務器的配置，我們畫了如上的示意圖。

CPU1/2分別提供不同的PCIe擴展槽（其余的PCIe通道被PCH、板載網卡等周邊設備所使用）：

由此可見，盡管雙路平臺R740xd有96條PCIe通道，但仍有不夠用的感覺，除了BOSS卡（x4）、H740p SAS RAID卡（x8）、25GbE網卡（x8）、PCH和板載網卡（10GbE和1GbE）之后，也僅給高速的NVMe SSD留下了48條PCIe通道可供使用，恰好滿足12個NVMe SSD所需要的PCIe通道數。（選擇PCIe卡橋接U.2相比板載U.2接口，靈活性更好。在服務器上將更多的PCIe總線留給擴展性更好的PCIe插槽，會方便用戶的使用。）

在企事錄實驗室中的這臺 Dell PowerEdge R740xd服務器配備了4塊三星PM1725系列的U.2 NVMe SSD： 

Dell PowerEdge R740xd服務器中所使用的NVMe SSD，800GB容量，屬于三星PM1725系列：最大3.1GB/s帶寬，4k隨機讀寫IOPS分別為75萬和12萬。

數據庫類應用是目前最能充分發揮NVMe SSD性能優勢的企業應用場景之一，尤其是關鍵業務數據庫。因為NVMe SSD具有很好的單位IOPS成本，又具有數據庫類應用所需要高性能和低延遲。同時考慮到R740xd服務器配備了兩顆英特爾Xeon Gold 6130處理器和384GB內存，具有很好的性能，所以企事錄實驗室首先部署了一個單實例的Oracle數據庫環境，以此來評估這臺PowerEdge R740xd的性能表現。

在構建好Oracle 12c數據庫之后，考慮到R740xd中配備了384GB的內存，而4塊NVMe SSD的容量之和為3.2TB，為避免大內存容量導致的數據庫I/O性能虛高，企事錄在創建數據庫過程中稍微限制了Oracle所能使用的內存容量，即將SGA的內存容量限制為64GB，同時寫入200GB的測試數據。穩定運行1小時之后，獲得Oracle數據庫性能：

在4塊NVMe SSD下，配備Xeon Gold 6130處理器的R740xd服務器獲得了172.5萬的平均TPM，峰值TPM超過186萬，接近200萬TPM；平均TPS接近3萬左右，峰值TPS超過3.2萬，且平均響應時間僅為3ms。

單純就性能而言，平均3萬TPS的Oracle數據庫性能已經接近了某些全閃存陣列的性能水平。但結合企事錄實驗室以往的測試經驗來看，計算能力應該達到了瓶頸，畢竟Oracle數據庫也是非常消耗計算能力的應用，從上圖可以看到，R740xd的CPU占用率已經超過了80%。

盡管黃金版的6130處理器在至強SP家族中只處于中上游水平，但其結合NVMe SSD構建的單實例Oracle數據庫性能已經接近上一代頂級至強E5-2699 v4處理器的性能。200萬TPM對于雙路服務器而言，似乎是一個不過逾越的難關，但在新一代Xeon處理器中卻有望破除。

上圖是在Oracle數據庫測試過程中，從（Oracle Linux 7.4）操作系統上獲得的截圖，雖然有些核心的利用率為50%左右，但有些核心已經高達90%，從最上面的CPU History曲線來看，已經有部分核心的利用率接近100%，這應該是Oracle數據庫性能無法進一步提升的瓶頸所在。

為了證實4塊NVMe SSD并未達到性能瓶頸，企事錄實驗室利用Oracle數據庫本身的命令行腳本測試了在1塊SSD和4塊SSD情況下，Oracle數據庫隨機讀取的性能情況：

圖上為1塊NVMe SSD情況下，Oracle數據庫的隨機讀取性能，接近42萬IOPS，帶寬在3.3GB/s左右，這基本是單個U.2版本PM1725的極限性能；圖下則為4塊NVMe SSD情況下，Oracle數據庫隨機讀取性能高達170萬IOPS，帶寬約13GB/s。簡單推算，隨著NVMe SSD的增加，其IOPS性能是線性增長的。

這一測試結果基本可以確定并非NVMe SSD出現瓶頸，接下來，企事錄實驗室分別針對1、2、3塊NVMe SSD下的Oracle數據庫性能進行了測試，并結合4塊NVMe SSD下的Oracle數據庫性能：

分別在1~4塊NVMe SSD作為數據庫存儲下，基于R740xd服務器構建的Oracle數據庫性能表現，可見在2塊NVMe SSD情況下，Oracle數據庫已經獲得最高性能，隨著NVMe SSD的增加，其性能表現并沒有明顯變化。究其原因，即這臺R740xd的兩個Xeon Gold 6130處理器計算性能達到上限，如果使用更高計算能力的處理器，Oracle數據庫的性能還有提升的空間。