法國云服務提供商 Scaleway 正在基于 NVIDIA 的 Hopper GPU 和 Spectrum-X 以太網網絡平臺構建區域性 GPU 集群，為用戶提供 AI 按需服務業務。

Scaleway 是法國的一家擁有高性能基礎設施的云服務提供商，創立于 1999 年，擁有 80+ 云產品及服務，為全球 25,000+ 客戶提供云服務，客戶包括 Mistral AI、Aternos、Hugging Face、Golem.ai 等。 Scaleway 提供一站式的云服務，以開發創新解決方案并幫助用戶從零開始構建和擴展 AI 項目，目前 Scaleway 正在構建區域 AI 云，提供 GPU 基礎設施，用于大規模的 AI 模型訓練、推理及部署。

客戶挑戰

云 AI 工作負載需求正以前所未有的速度增長，同時生成式 AI 應用也在激增。為滿足客戶部署生成式 AI 應用程序、訓練基礎 AI 大模型的需求，云服務提供商面臨巨大挑戰，需要構建 AI 云，使用加速計算技術和高性能網絡來支持 AI 業務。Scaleway 的核心需求包括：

● 對于分布式 AI 訓練任務，單個任務的訓練時間由最慢的計算節點的運行時間決定，這使得尾部延遲至關重要。AI 云需要一個高吞吐、低延遲、低抖動、易擴展的高性能網絡，來確保 GPU 間快速、高效的通信，尤其是在大規模部署的場景下。

● 在多個 AI 任務同時運行的多租戶環境中，性能隔離對于保護一個租戶的 AI 任務免受其他租戶業務的影響是必不可少的。由此提出了對多租戶多任務場景下性能隔離的需求。

● 對于復雜的 AI 云環境，需要專門適用于 AI 網絡的監控管理工具，提供細粒度的網絡可視化功能、同時具備網絡監控和故障定位能力。

● 為實現 AI 云數據中心的高效、快速部署，需要強大的網絡仿真及自動化平臺。

● 隨著云上用戶、數據、應用的快速增長，網絡安全威脅不容忽視，需要提供私有的、安全的零信任基礎設施，保障用戶的業務安全。

解決方案

Scaleway 采用了 NVIDIA 的Hopper GPU 和Spectrum-X 網絡平臺應對以上挑戰。

Scaleway 將 HGX Hopper GPU 服務器加入其 GPU 集群陣容中，以覆蓋廣泛的計算需求，利用 GPU 的速度和效率加速 AI 分布式工作負載。

對于 Scale-Out AI 網絡，Scaleway 采用了基于 BlueField-3 SuperNIC 和 Spectrum SN5600 交換機構建的 Spectrum-X 網絡平臺。 NVIDIA 的 Spectrum-X 網絡平臺是全球首個專為 AI 構建的以太網端到端解決方案，與傳統以太網相比，其生成式 AI 訓練的網絡通信效率提高了 1.6 倍。同時 Spectrum-X 部署將利用以下網絡軟件堆棧：

● NVIDIA Air 用于 AI 網絡仿真，NVIDIA Air 是一個云托管的數據中心網絡仿真平臺，其行為類似于真實世界的生產環境。使用 NVIDIA Air 創建數據中心的數字孿生，可以驗證網絡配置、網絡功能以及自動化部署代碼，提升數據中心的部署效率。

● NetQ 用于 AI 網絡監控，通過高頻遙測技術監控 AI 工作負載，NetQ 提供有關數據中心運行狀況的數據和統計信息，關聯配置和運行狀態，并跟蹤狀態變化。基于遙測信息，NetQ 提供動態路由監控，RoCE 流量計數器，交換機隊列直方圖等功能，以識別和應對網絡微突發、擁塞場景，方便網絡故障定位。

● Cumulus Linux 用于軟件驅動的數據中心網絡自動化，Cumulus Linux 是創新的開放網絡操作系統，支持 BGP/OSPF 路由協議，以太網虛擬專用網絡 EVPN，虛擬路由和轉發。

● DOCA SDK 和庫用于增強 BlueField-3 SuperNIC 性能，DOCA SDK 提供行業標準的開放 API 和軟件框架，包括針對 RDMA、網絡、安全、存儲、數據路徑加速的 SDK，幫助開發者快速創建軟件定義、SuperNIC 加速的服務。

使用的NVIDIA產品

● 硬件:

o   NVIDIA HGX Hopper 服務器

o   NVIDIA Spectrum-4 SN5600 以太網交換機

o   NVIDIA BlueField-3 B3140H SuperNICs

● 軟件:

o   Cumulus Linux 網絡操作系統

o   NetQ 監控管理平臺

o   NVIDIA Air 仿真平臺

o   DOCA SDK

實際效果

采用 NVIDIA 的整體解決方案后，極大地提升了 AI 計算能力，縮短了 AI 訓練時間，同時加速了 AI 解決方案的開發、部署和上市時間，有效提高了投資回報率。

● Scaleway 客戶可以從幾個 GPU 擴展到幾千個 GPU，以適應任何 AI 用例

● Spectrum-X 提供多租戶、多任務的 AI 環境所需的高性能和安全性， 借助動態路由、擁塞控制、全局共享緩沖區等多種機制，實現了多任務的性能隔離。

● NetQ 提供對 AI 網絡健康狀況的深度可視性，具有 RoCE 流量計數器、事件和WJH（What Just Happened）警報等豐富的儀表板，實現 AI 網絡可視化、故障排除和驗證功能。

● NVIDIA Air 和 Cumulus Linux 支持 API 原生網絡環境，該環境可集成到 DevOps 工具鏈中，實現了第 0 天、第 1 天 和第 2 天操作的無縫銜接。

NVIDIA 網絡高級副總裁 Gilad Shainer 表示：“生成式 AI 等開創性技術的飛速發展，使每家企業都必須把網絡創新放在第一位，從而獲得競爭優勢。NVIDIA Spectrum-X 是對以太網絡的一次革命，讓企業能夠充分利用其 AI 基礎設施的強大力量來改變其運營方式，甚至顛覆他們的行業。”

Scaleway 首席執行官 Damien Lucas 表示：“NVIDIA Spectrum-X 網絡技術為我們的 ‘ GPU 集群按需服務’ 提供了更快的網絡連接和更高效的 GPU 通信，使我們的客戶能夠加速開發和部署他們的 AI 解決方案。”