概述

憑借在挖掘數據豐富的內在信息、擬合能力、數據擴展性等方面的優勢，深度學習正在成為大量企業用戶部署人工智能 (AI) 應用的優先選擇。但與此同時，深度學習相較普通的機器學習應用，在算法部署、模型設計、算力基礎設施構建等方面有著更高的門檻。

為幫助企業用戶降低深度學習部署與應用門檻，構建軟硬一體的分布式全棧推理平臺，寶德推出了基于 AI 推理服務器 PR2715P2，可支持 Analytics Zoo Cluster Serving 的自動分布式可擴展推理平臺。寶德PR2715P2采用了全新設計，融合了第二代英特爾® 至強® 可擴展處理器和英特爾® 深度學習加速（英特爾® DL Boost）技術，在性能與功耗之間實現了有效平衡，為深度學習應用提供了一個高效能的基礎平臺。

挑戰：如何加速深度學習部署與優化

隨著深度學習算法的不斷創新，越來越多的應用需要對深度學習模型進行大規模和實時的分布式推理服務。雖然已經有一些工具可用于模型優化、服務、集群調度、工作流管理等相關任務，但是對于許多深度學習的工程師和科學家而言，開發和部署能夠透明地擴展到大型集群的分布式推理工作流仍然是一個嚴峻的挑戰。

為了便于構建和生成面向大數據的深度學習應用程序，英特爾推出了 Analytics Zoo 平臺。該平臺提供了統一的數據分析+ AI平臺，可將TensorFlow、Keras、Pytorch、BigDl Spark、Flink和 Ray 程序無縫集成到一個統一的數據分析流水線中，用于分布式訓練或預測，方便用戶構建深度學習應用。整個流水線可以透明地擴展到運行在由搭載英特爾® 至強® 處理器的服務器組成的 Hadoop/Spark 集群上，以進行分布式訓練或推理。

Analytics Zoo 在較新的版本中還提供了對于 Cluster Serving 的支持，構建了輕量級、分布式、實時的模型服務解決方案。Analytics Zoo Cluster Serving 支持多種深度學習模型，提供了一個簡單的發布/訂閱 API，可支持用戶可輕松地將他們的推理請求發送到輸入隊列。然后，Cluster Serving 將使用分布式流框架在大型集群中進行實時模型推理和自動擴展規模。

圖1. Analytics Zoo Cluster Serving 解決方案總體框架

要部署基于 Analytics Zoo Cluster Serving 的深度學習算法與應用，企業需要進行硬件選型、優化與驗證，以提供高性能的算力支撐，但在此過程中，企業也面臨著艱巨的挑戰。首先，傳統的解決方案并非是全棧設計，需要在硬件選型、軟硬件適配與優化等方面耗費大量的時間與精力，也容易帶來總體擁有成本 (TCO) 的上升。

其次，深度學習算法與應用對于 AI 性能有著很高的要求，未針對 AI 進行性能優化的 CPU 在運行效率上存在明顯瓶頸。GPU 服務器雖然能夠提供充足的算力支持，但是成本相對較高，應用范圍受到較多的局限，而且其需要專門的部署與調優，不利于深度學習應用的快速上市。

解決方案：基于寶德 PR2715P2 AI 推理服務器的自動分布式可擴展推理平臺

搭載第二代英特爾至強可擴展處理器的寶德 PR2715P2 AI 推理服務器全面支持Analytics Zoo Cluster Serving分布式推理技術方案。該推理服務器是一款軟硬一體的分布式全棧推理解決方案，專為高性能計算、高級人工智能分析任務而設計，具有出色的性能功耗比。

圖2：寶德 PR2715P2 AI 推理服務器

第二代英特爾至強可擴展處理器專為數據中心現代化革新而設計，能夠提高各種基礎設施、企業應用及技術計算應用的運行效率，進而改善總體擁有成本（TCO），提升用戶生產力。它擁有更高的單核性能，能夠在計算、存儲和網絡應用中，為計算密集型工作負載提供高性能和可擴展性。得益于英特爾® 超級通道互聯（英特爾® UPI）、英特爾® Infrastructure Management 技術（英特爾® IMT）、英特爾® 高級矢量擴展指令集512（英特爾® AVX-512）等領先功能，它可滿足嚴苛的 I/O 密集型工作負載的需求。

此外，第二代英特爾至強可擴展處理器內置人工智能加速，并已針對工作負載進行優化，能夠為各種高性能計算工作負載、AI應用以及高密度基礎設施帶來一流的性能和內存帶寬。同時，采用矢量神經網絡指令（VNNI）的英特爾® 深度學習加速（英特爾® DL Boost）顯著提高了人工智能推理的表現，與上一代產品相比，性能提升高達 14 倍。這使其成為拓展 AI 應用的卓越基礎設施。

在寶德 PR2715P2 AI 推理服務器搭建的平臺上，用戶只需要準備 Analytics Zoo Cluster Serving 的 Docker Image、配置文件、訓練好的模型（當前支持的模型包括TensorFlow、PyTorch、Caffe、BigDL和OpenVINO™的模型）及推理數據，即可在幾分鐘內啟動并運行推理應用。

通過加入對于 Analytics Zoo Cluster Serving 的支持，寶德一體化分布式可擴展人工智能推理方案顯著降低了配置和流程的復雜程度，在提供高級定制化服務的同時，有效降低了 TCO。這種全新的集群模型服務支持有助于簡化用戶的分布式推理工作流，提高工作效率，并為深度學習場景帶來領先的性能。

效果：自動分布式可擴展推理平臺加速深度學習部署與應用

通過部署基于寶德 PR2715P2AI 推理服務器的自動分布式可擴展推理平臺，用戶能夠實現如下價值：

• 提升深度學習的部署速度：得益于 Analytics Zoo Cluster Serving +寶德 PR2715P2 AI 推理服務器的全棧推理解決方案，用戶可以節省在平臺搭建、軟硬件優化與驗證等方面的大量時間，快速部署深度學習應用。
• 提高系統整體算力：第二代英特爾至強可擴展處理器具備強大 AI 性能，為該解決方案的算力奠定了堅實基礎，在組建分布式集群之后，可以應對大型深度學習負載。
• 確保面向未來的擴展性：該解決方案不僅在軟件層面實現了自動擴展規模，還通過服務器的分布式部署提供了敏捷擴展能力，能夠敏捷應對未來的深度學習對于基礎設施的要求。

展望：寶德與英特爾協力推動 AI 技術發展

人工智能技術與應用是數字化轉型的關鍵技術方向。多年來，寶德與英特爾等合作伙伴構建了繁榮的 AI 生態，不斷推動軟硬一體化的 AI 方案的創新，為機器學習、深度學習等技術提供基礎設施支撐。同時，雙方還不斷針對行業需求拓展 AI 解決方案落地場景，深化產品與產業的應用融合。

基于Analytics Zoo Cluster Servining和寶德 PR2715P2 AI推理服務器的自動分布式可擴展推理平臺是寶德與英特爾合作的重要成果，不斷證明著其在降低深度學習部署門檻、加速深度學習推理等方面的價值。雙方還將進一步把高性能計算數據分析和人工智能加速整合到單一的計算環境中，并提供新的內存和存儲模式，為計算引擎提供支持，進而解決高性能計算系統面臨的獨特挑戰。

關于寶德

深圳市寶德計算機系統有限公司成立于2003年，以服務器和PC整機研發、生產、銷售和為客戶提供云計算綜合解決方案為主營業務，致力于成為中國領先的IT產品和解決方案提供商，為互聯網、教育、廣電、安全、金融、電信、稅務、交通、電力、醫療等行業提供尖端的IT產品和服務。多年來，在強者林立的中國服務器市場，憑借先進的技術和獨特的軟硬件綜合實力，寶德服務器市場占有率連續多年穩居國內前茅。

關于英特爾

英特爾（NASDAQ: INTC）作為行業引領者，創造改變世界的技術，推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進半導體設計與制造，幫助我們的客戶應對最重大的挑戰。通過將智能融入云、網絡、邊緣和各種計算設備，我們釋放數據潛能，助力商業和社會變得更美好。如需了解英特爾創新的更多信息，請訪問英特爾中國新聞中心newsroom.intel.cn以及官方網站intel.cn。

附：寶德 PR2715P2 AI 推理服務器配置