IT之家 11 月 21 日消息，微軟 Azure AI 基礎設施迎來升級，推出了 ND H100 v5 虛擬機系列，這款虛擬機配備了英偉達 H100 Tensor Core 圖形處理單元（GPU）和低延遲網絡。

據介紹，微軟全新發布 Azure ND H100 v5 虛擬機（VM）系列，現已在美國東部和美國中南部 Azure 區域提供。

該系列配備了最新的英偉達 H100 Tensor Core GPU 和英偉達 Quantum-2 InfiniBand 網絡，用于應對 AI 工作負載帶來的日益增加的復雜性。作為微軟在 AI 領域深入和持續投資的一部分，微軟正在利用一個 AI 優化的 4K GPU 集群，并將在明年將其擴展到數十萬個全新的 GPU。

IT之家匯總 ND H100 v5 VM 虛擬機系列的特性：

• AI 超級計算 GPU：配備了八個英偉達 H100 Tensor Core GPU。比起上一代虛擬機，該系列可讓 AI 模型顯著提速。
• 新一代計算機處理單元（CPU）：CPU 性能對于 AI 的訓練和推理至關重要，微軟選擇了第四代英特爾 Xeon Scalable 處理器。
• 低延遲網絡：采用英偉達 Quantum-2 ConnectX-7 InfiniBand，每個 GPU 擁有 400Gb / s、每個 VM 擁有 3.2 Tb / s 的跨節點帶寬。
• 優化主機到 GPU 的性能：通過 PCIe Gen5 提供每個 GPU 64GB/s 的帶寬。
• 大規模的內存和內存帶寬：DDR5 內存是該系列虛擬機的核心，提供更高的數據傳輸速度和效率。

微軟表示，該系列虛擬機使用新的 8 位 FP8 浮點數據類型進行矩陣乘法操作時，速度提升了六倍，比前一代的 FP16 更快。ND H100 v5 VM 幫助大型語言模型（如 BLOOM 175B 端到端模型）實現了最高兩倍的推理速度提升。