美國加利福尼亞州圣克拉拉—2024 年 7 月 23 日—NVIDIA 宣布推出全新 NVIDIA AI Foundry 服務和NVIDIA NIM? 推理微服務，與同樣剛推出的Llama 3.1 系列開源模型一起，為全球企業的生成式 AI 提供強力支持。

借助 NVIDIA AI Foundry，企業和各國現在能夠使用 Llama 3.1 以及 NVIDIA 軟件、計算和專業知識，為其特定領域的行業用例創建自定義“超級模型”。企業可以使用自有數據以及由 Llama 3.1 405B 和 NVIDIA Nemotron? Reward 模型生成的合成數據，來訓練這些超級模型。

NVIDIA AI Foundry 是由 NVIDIA DGX? Cloud AI 平臺驅動。該平臺由 NVIDIA 與全球領先的公有云共同設計，旨在為企業提供大量計算資源，所提供的計算資源可隨著 AI 需求的變化輕松擴展。

企業以及制定主權 AI 戰略的國家正希望創建具有特定領域知識的自定義大語言模型，以便生成式 AI 應用能夠反映其獨特的業務或文化。因此，這些新服務的推出恰逢其時。

NVIDIA 創始人兼首席執行官黃仁勛表示：“Meta 的 Llama 3.1 開源模型標志著全球企業采用生成式 AI 的關鍵時刻已經到來。Llama 3.1 將掀起各個企業與行業創建先進生成式 AI 應用的浪潮。NVIDIA AI Foundry 已經在整個過程中集成了 Llama 3.1，并能夠幫助企業構建和部署自定義 Llama 超級模型。”

Meta 創始人兼首席執行官馬克·扎克伯格表示：“全新的 Llama 3.1 模型是開源 AI 邁出極其重要的一步。借助 NVIDIA AI Foundry，企業可以輕松創建和定制大家想要的最先進的 AI 服務，并通過 NVIDIA NIM 進行部署。我很高興能將它交付到大家手中。”

企業現在可以從ai.nvidia.com 了解適用于 Llama 3.1 模型的 NVIDIA NIM 推理微服務，以加快將 Llama 3.1 模型部署到生產級 AI 的速度。NIM 微服務是將 Llama 3.1 模型部署到生產中的最快途徑，其吞吐量最多可比不使用 NIM 運行推理時高出 2.5 倍。

企業可以將 Llama 3.1 NIM 微服務與全新 NVIDIA NeMo Retriever NIM 微服務組合使用，為 AI copilot、助手和數字人虛擬形象搭建先進的檢索工作流。

埃森哲率先使用 AI Foundry 為企業創建自定義 Llama 超級模型

全球專業服務公司埃森哲率先借助 NVIDIA AI Foundry，使用 Accenture AI Refinery? 框架為自己以及那些希望所部署的生成式 AI 應用能夠反映其文化、語言和行業的客戶來創建自定義 Llama 3.1 模型。

埃森哲董事長兼首席執行官 Julie Sweet 表示：“全球領軍企業看到了生成式 AI 正在如何深入改變各行各業，并且希望部署由自定義模型驅動的應用。埃森哲的內部 AI 應用一直在使用 NVIDIA NIM 推理微服務。現在，借助 NVIDIA AI Foundry，我們能夠幫助客戶快速創建和部署自定義 Llama 3.1 模型，為他們的優先業務事項提供變革性的 AI 應用。”

NVIDIA AI Foundry 提供一種可用于快速構建自定義超級模型的端到端服務。其結合 NVIDIA 軟件、基礎設施和專業知識與開放社區模型、技術和來自 NVIDIA AI 生態系統的支持。

借助 NVIDIA AI Foundry，企業能夠使用 Llama 3.1 模型和 NVIDIA NeMo 平臺（包含在Hugging Face RewardBench 上排名第一的 NVIDIA Nemotron-4 340B Reward 模型）創建自定義模型。

在創建了自定義模型后，企業就可以構建 NVIDIA NIM 推理微服務，以便在其首選的云平臺和全球服務器制造商提供的 NVIDIA 認證系統?上，使用自己選擇的最佳機器學習運維（MLOps）和人工智能運維（AIOps）平臺在生產中運行這些模型。

NVIDIA AI Enterprise 專家和全球系統集成商合作伙伴與 AI Foundry 客戶一同加快從開發到部署的全過程。

NVIDIA Nemotron 為高級模型自定義提供助力

如果企業需要更多訓練數據來創建特定領域的模型，可以在創建自定義 Llama 超級模型同時使用 Llama 3.1 405B 和 Nemotron-4 340B 生成合成數據，以提高模型的準確性。

擁有自己的訓練數據的客戶可以使用 NVIDIA NeMo 對 Llama 3.1 模型進行自定義，通過領域自適應預訓練（DAPT）進一步提高模型的準確性。

NVIDIA 和 Meta 還一起為 Llama 3.1 提供了一種提煉方法，供開發者為生成式 AI 應用創建更小的自定義 Llama 3.1 模型。這使企業能夠在更多加速基礎設施（如 AI 工作站和筆記本電腦）上運行由 Llama 驅動的 AI 應用。

行業領軍企業紛紛使用 NVIDIA 和 Llama 為 AI 提供強力支持

醫療、能源、金融服務、零售、交通、電信等行業的企業已在使用適用于 Llama 的 NVIDIA NIM 微服務。首批使用面向 Llama 3.1 全新 NIM 微服務的公司包括 Aramco、AT&T 和優步。

Llama 3.1 多語種大語言模型（LLM）集合是一個具有 8B、70B 和 405B 三種參數規模的生成式 AI 模型集合。該集合中的模型在超過 16,000 個 NVIDIA Tensor Core GPU 上訓練而成，并針對 NVIDIA 加速計算和軟件（無論是在數據中心、云以及配備 NVIDIA RTX? GPU 的本地工作站或配備GeForce RTX GPU 的 PC 上）進行了優化。

全新 NeMo Retriever RAG 微服務大幅提高準確性和性能

通過使用全新的 NVIDIA NeMo Retriever NIM 推理微服務來實現檢索增強生成（RAG），企業可以將自定義 Llama 超級模型和 Llama NIM 微服務部署到生產中，以提高響應準確性。

當與適用于 Llama 3.1 405B 的 NVIDIA NIM 推理微服務結合使用時，NeMo Retriever NIM 微服務可以為 RAG 工作流中的開放和商業文本問答帶來極高的檢索準確性。

企業生態系統為 Llama 3.1 和 NeMo Retriever NIM 部署提供助力

數百家提供企業、數據和基礎設施平臺的 NVIDIA NIM 合作伙伴現在能夠將這些新的微服務集成到其 AI 解決方案中，從而為 NVIDIA 社區 500 多萬開發者和 1.9 萬家初創公司的生成式 AI 提供超強助力。

現在可以通過NVIDIA AI Enterprise 獲得 Llama 3.1 NIM 和 NeMo Retriever NIM 微服務的生產支持。NVIDIA 開發者計劃會員將很快能夠免費訪問 NIM 微服務，以在他們首選的基礎設施上進行研究、開發和測試。稱可能是與其相關的各家公司的商標。功能、價格、可用性和規格如有更改，恕不另行通知。