可信的數(shù)據(jù)、分析和AI混合平臺廠商肯睿Cloudera今天發(fā)布了由NVIDIA NIM微服務(wù)驅(qū)動的肯睿Cloudera AI推理服務(wù)，該服務(wù)同時成為NVIDIA AI Enterprise平臺的一部分。作為業(yè)界首批提供嵌入式 NIM微服務(wù)功能的AI推理服務(wù)之一，肯睿Cloudera AI推理服務(wù)以獨特方式簡化了大規(guī)模AI模型的部署與管理，使企業(yè)能夠發(fā)揮出其數(shù)據(jù)的真正潛力，將生成式AI從試點階段推進到全面生產(chǎn)階段。

根據(jù)德勤最新數(shù)據(jù)顯示，企業(yè)采用生成式AI的最大障礙是合規(guī)風險和治理問題。盡管如此，生成式AI仍在快速普及，今年第三季度有超過三分之二的企業(yè)增加了生成式AI預算。為了緩解上述問題，無論在本地，還是在公有云中，企業(yè)都必須轉(zhuǎn)向私有AI模型和應(yīng)用。為此，企業(yè)需要安全、可擴展的解決方案來避免復雜的自行解決方法。

肯睿Cloudera AI推理服務(wù)通過在企業(yè)控制范圍內(nèi)提供安全開發(fā)與部署，防止敏感數(shù)據(jù)泄露到云服務(wù)商托管的非私有AI模型服務(wù)中。這項NVIDIA技術(shù)驅(qū)動的服務(wù)幫助企業(yè)快速構(gòu)建實現(xiàn)可信AI所需的可信數(shù)據(jù)，支持企業(yè)高效開發(fā)AI驅(qū)動的聊天機器人、虛擬助手和代理應(yīng)用，從而提升生產(chǎn)力并實現(xiàn)業(yè)務(wù)增長。

肯睿Cloudera在與NVIDIA合作后不久就推出了肯睿Cloudera AI推理服務(wù)，進一步強調(diào)了肯睿Cloudera的承諾，即在各行各業(yè)應(yīng)對數(shù)字化轉(zhuǎn)型與AI集成復雜性的關(guān)鍵時刻，不斷推動企業(yè)AI創(chuàng)新。

開發(fā)者可以使用NVIDIA Tensor Core GPU構(gòu)建、定制和部署企業(yè)級大語言模型（LLM） ，其性能最高可提升36倍，吞吐量是使用CPU時的近4倍。用戶界面（UI）和API可與NVIDIA NIM微服務(wù)容器直接集成，不再需要使用命令行界面（CLI）和單獨的監(jiān)控系統(tǒng)，為用戶帶來了無縫銜接體驗。該服務(wù)與肯睿Cloudera AI模型注冊表集成后，還可通過管理模型端點和操作的訪問控制改善安全性和治理。用戶能夠在一個統(tǒng)一平臺上通過一項服務(wù)無縫管理所有模型，無論是LLM部署，還是傳統(tǒng)模型都不例外。

肯睿Cloudera AI推理服務(wù)的其他主要功能包括：

1. 高級AI功能：利用NVIDIA NIM微服務(wù)優(yōu)化開源LLM（包括LLama和Mistral），推動自然語言處理（NLP）、計算機視覺和其他AI領(lǐng)域的前沿技術(shù)發(fā)展。
2. 混合云與隱私：在本地或云中運行工作負載，通過VPC部署增強安全性與合規(guī)性。
3. 可擴展性與監(jiān)控：依靠自動擴展、高可用性（HA）和實時性能追蹤檢測和糾正問題，實現(xiàn)高效資源管理。
4. 開放式 API與CI/CD集成：使用符合標準的API進行模型部署、管理和監(jiān)控，以便與 CI/CD流水線和MLOps工作流程無縫集成。
5. 企業(yè)安全功能：通過服務(wù)帳戶、訪問控制、數(shù)據(jù)沿襲和審計功能執(zhí)行模型訪問。
6. 風險管理部署：通過A/B測試和“金絲雀推廣”（canary rollout）以控制模型更新。

行業(yè)分析師Sanjeev Mohan表示：“企業(yè)正對投資生成式AI熱情高漲，但這不僅需要可擴展的數(shù)據(jù)，還需要安全、合規(guī)且管理良好的數(shù)據(jù)。將私有AI大規(guī)模投入生產(chǎn)帶來了DIY方法難以解決的復雜性。肯睿Cloudera AI推理服務(wù)通過將先進的數(shù)據(jù)管理與NVIDIA的AI專業(yè)技術(shù)相結(jié)合彌補了這一差距，在保護數(shù)據(jù)的同時發(fā)揮數(shù)據(jù)潛能。憑借服務(wù)帳戶、訪問控制、審計等企業(yè)級安全功能，企業(yè)可以放心地保護自己的數(shù)據(jù)，并在本地或云中運行工作負載。以其所需的靈活性和治理方式高效部署AI模型。”

肯睿Cloudera首席產(chǎn)品官Dipto Chakravarty表示：“我們十分高興能與NVIDIA攜手推出肯睿Cloudera AI推理服務(wù)，為客戶提供一個支持幾乎所有模型和用例的一站式AI/ML平臺。如此一來，企業(yè)既可以使用我們的軟件創(chuàng)建強大的AI應(yīng)用，也可以在肯睿Cloudera平臺中運行性能卓越的AI應(yīng)用。通過集成NVIDIA AI，肯睿Cloudera能夠以先進的性能促進決策的智能化，使用可信數(shù)據(jù)大規(guī)模構(gòu)建可信的AI應(yīng)用，從而支持客戶不斷創(chuàng)新。”

NVIDIA AI軟件、模型和服務(wù)副總裁Kari Briski表示： “當今企業(yè)需要將生成式AI與其現(xiàn)有的數(shù)據(jù)基礎(chǔ)設(shè)施無縫集成，從而提升業(yè)務(wù)成果。通過將NVIDIA NIM微服務(wù)整合到肯睿Cloudera AI 推理服務(wù)平臺中，我們支持開發(fā)者能夠輕松創(chuàng)建可信的生成式AI應(yīng)用，同時形成一個自我維持的AI數(shù)據(jù)飛輪。”

肯睿Cloudera大中華區(qū)技術(shù)總監(jiān)劉隸放表示：“在中國，隨著生成式AI的迅速普及，企業(yè)對安全、合規(guī)且具備本地化部署能力的AI解決方案需求愈發(fā)強烈。Cloudera AI推理服務(wù)結(jié)合了NVIDIA的領(lǐng)先技術(shù)，幫助中國企業(yè)在嚴格的數(shù)據(jù)隱私要求下實現(xiàn)AI應(yīng)用的快速落地與擴展。這一解決方案不僅支持企業(yè)自主掌控數(shù)據(jù)，還能有效提升AI模型的性能，為中國企業(yè)的數(shù)字化轉(zhuǎn)型提供強有力的支持。”