MLCommons官方公布針對60億參數(shù)大語言模型及計算機視覺與自然語言處理模型GPT-J的 MLPerf推理v3.1的性能基準測試結(jié)果，Intel CPU處理器、AI加速器表現(xiàn)亮眼，在AI推理方面相當有競爭力。

此前6月份披露的MLCommons AI訓練結(jié)果、Hugging Face性能基準測試成績表明，Intel Gaudi2 AI加速器在先進的視覺語言模型上，表現(xiàn)完全可以超越NVIDIA H100 股加速器，堪稱可唯一替代NVIDIA H100/A100的可行方案，最新結(jié)果再次驗證了這一點。

GPT-J模型上，Intel Gaudi2加速器的GPT-J-99、GPT-J-99.9服務(wù)器查詢和離線樣本的推理性能分別為78.58次/秒、84.08 次/秒。

對比競品，H100相較于Gaudi2只有1.09 倍（服務(wù)器）、1.28 倍（離線）的性能領(lǐng)先優(yōu)勢，Gaudi2對比A100的優(yōu)勢則可達2.4倍（服務(wù)器）、2倍（離線）的性能。

值得一提的是，Gaudi2提交的結(jié)果采用FP8數(shù)據(jù)類型，準確率達到99.9％。

Gaudi2軟件每6-8周就會更新一次，將繼續(xù)提升MLPerf基準測試性能，并擴大模型覆蓋范圍。

60億參數(shù)AI模型測試：Intel 2.4倍領(lǐng)先！唯一可替代NVIDIA

同時，Intel提交了基于Sapphire Rapids第四代至強可擴展處理器的7個推理基準測試，其中就包括GPT-J模型。

結(jié)果顯示，包括視覺、語言處理、語音和音頻翻譯模型，以及更大的DLRM v2深度學習推薦模型、ChatGPT-J模型在內(nèi)，四代至強在處理通用AI負載時性能非常出色。

截至目前，Intel仍是唯一一家使用行業(yè)標準的深度學習生態(tài)系統(tǒng)軟件提交公開CPU結(jié)果的廠商。

根據(jù)最新結(jié)果，使用GPT-J對大約1000-1500字新聞稿進行100字總結(jié)的任務(wù)，四代至強在離線模式下每秒完成兩段，實時服務(wù)器模式下則可完成每秒一段。

此外，Intel首次提交了至強CPU Max處理器的MLPerf測試結(jié)果，其集成最多64GB HBM3高帶寬內(nèi)存，對于GPT-J而言是唯一能夠達到99.9％準確度的CPU，非常適合精度要求極高的應(yīng)用。