您看我們還有機會嗎？

作者：Kang, Yiqiang 2020-07-29 19:07:59

企業動態

隨著人工智能，深度學習的訓練和推理等場景的廣泛需求，企業越來越需要能夠適應多卡GPU場景的服務器。這也為戴爾易安信PowerEdge創造了更多一展身手的舞臺。

我這話一問出口，電話那頭的老客戶陳工明顯沉默了幾秒……

看來陳工也忙里偷閑的看了最近大火的《隱秘的角落》啊！

陳工之所以托我推薦設備，是因為他們公司準備做AI訓練場景的項目，正在做設備選型。市面上形形色色的設備太多，陳工第一時間還是想到了有過合作的戴爾易安信。

我了解到，前期項目是用于研發測試。研發用了之前的PowerEdge R740服務器，并配置了一塊NVIDIA V100的顯卡。雖說V100的單卡AI效能分析能夠滿足本次的AI模型，但研發提出，希望能用更多卡的機型來進行AI訓練。

▐ 多卡NVIDIA V100的機型？這說的不就是我們戴爾易安信的DSS 8440嗎！于是我當即給陳工發送了單臺DSS 8440放10張V100的配置。

只可惜研發很滿意，采購卻嫌貴。如果減少卡的數量？研發又不同意。

于是，陳工就又給我打了電話。

有沒有機會，當然要看能不能提供讓研發和采購都滿意的方案。

那么，它會不會適合這個場景呢？

我打開了RTX6000與V100常用AI模型訓練與推理效能對比測試。

基于POC數據，針對主流AI圖像分類模型訓練，RTX6000性能為V100的70%-80%，V100的單卡性能更強。

針對主流AI圖像分類模型推理，小數據量加載情況下（如batchsize=1或2，batchsize代表一次加載到GPU顯存的圖片數據），RTX6000性能更好，考慮原因是RTX6000峰值主頻更高；大數據量加載情況下（如batchsize=16），V100性能更好，考慮原因是V100的顯存帶寬性能更好。

▲RTX6000和V100的參數對比

▲RTX6000 vs V100 AI效能對比

顯然，有了上面的對比，我這心里就踏實多了。對于需要高性能機器學習但不需要絕對高性能的用戶來說，RTX6000是一套高性價比的機器學習訓練替代方案。

此時，符合陳工需要的替代方案已經呼之欲出，于是我立即編輯郵件發給陳工。

方案郵件發出去沒多久，我就接到了陳工的來電：

[[335582]]

關于戴爾易安信HPC

如今，GPU在PC、工作站和服務器的運用越來越重要。而隨著5G建設帶來的更多大規模并行計算場景，也讓GPU有了更多的用武之地。

而隨著人工智能，深度學習的訓練和推理等場景的廣泛需求，企業越來越需要能夠適應多卡GPU場景的服務器。這也為戴爾易安信PowerEdge創造了更多一展身手的舞臺。

戴爾易安信PowerEdge多款服務器都支持多卡GPU，比如塔式最經典的T640系列，機架式R740、R740XA、R840、R940xa，包括AMD平臺的R6515、R6525、R7515、R7525，模塊化服務器C6525，以及特別的兩款機型C4140和DSS 8440。

戴爾易安信PowerEdge系列具有以下三大特點：

DSS 8440是業界唯一支持8*Graphcore IPU、10*V100S/RTX8000/RTX6000或16*T4的加速器平臺。

[[335583]]

DSS 8440 IPU服務器是雙插槽4U服務器，能夠為機器智能應用提供卓越的性能，8個Graphcore C2 卡（雙IPU）可提供高達1.6PetaFLOP的混合精度機器智能計算能力。

▲DSS 8440-8個Graphcore C2 卡（雙IPU）

為什么要創建智能處理業務單元IPU？

這是因為客戶需要一種新型處理器，以便更有效地支持更復雜的知識模型，快速進行訓練和推導，讓CPU和GPU為機器智能領域的創新者提供更多支持。

首發V100S在戴爾易安信PowerEdge 8款服務器平臺（C4140/DSS 8440/R7525/R740/R740xd/R940xa/R840/T640）。V100S的機型目前多數友商還沒有搭載RTS。

▲DSS 8440拓撲– 多達 10個V100S GPU

戴爾易安信PowerEdge是支持RTX6000/8000最多的Server/HCI平臺，共有7款（DSS 8440/R7525/R740/R740xd/T640/VxRail V570/570F）。對于需要高性能機器學習但不需要絕對高端性能的V100S GPU的客戶來說，RTX6000/8000提供了成本更低的機器學習訓練替代方案。

這兩個加速器的成本比V100 GPU 低約30%，同時仍有其大約70%的性能，目前業界只有兩個友商的各自一款機架式機型能夠滿足。