端到端加速企業GenAI創新,英偉達NIM微服務成為軟件企業看中的亮點!
原創3月20日,軟件開發企業Cloudera宣布了一項重要的合作信號:要與NVIDIA一起加速生成式AI應用的部署。具體來講,就是通過將NVIDIA的AI微服務集成到其Cloudera數據平臺(CDP)中,幫助企業能夠快速構建和擴展基于自身數據的定制化大型語言模型(LLMs)。
此次合作中,Cloudera將利用NVIDIA AI Enterprise,包括NVIDIA Inference Manager(NIM)微服務,解鎖CDP中超過25E字節數據的洞察。這些豐富的企業信息將輸入到Cloudera機器學習平臺中,該平臺是公司的端到端AI工作流程服務,將推動新一輪的生成式AI創新。
Cloudera的AI/ML產品副總裁Priyank Patel表示:“企業數據結合為大型語言模型優化的全棧平臺,在將組織的生成式AI應用從試點推向生產方面起著至關重要的作用。Cloudera正在集成NVIDIA NIM和CUDA-X微服務,以驅動Cloudera機器學習平臺,幫助客戶將AI的炒作轉變為商業現實。”
此次合作不僅展示了Cloudera和NVIDIA在技術創新上的實力,也反映了市場對生成式AI應用的需求正在快速增長。通過整合雙方的資源和技術優勢,雙方共同推動AI在企業中的實際應用,為企業帶來更高效、更智能的解決方案。
此外,通過利用CDP中的海量數據,結合Cloudera機器學習平臺的強大功能,企業能夠更深入地挖掘數據的價值,實現更精準的決策和更高效的業務運營。這一合作將為企業帶來更加智能化、自動化的未來,推動整個行業的發展和進步。
1.連接模型與數據
在連接模型與數據之間,企業AI面臨著一個關鍵挑戰,即如何將基礎模型與相關的業務數據連接起來,以生成準確、符合上下文的輸出。NVIDIA的NIM和NeMo Retriever微服務旨在通過使開發者能夠將LLMs(大型語言模型)與從文本文檔到圖像和可視化等結構化和非結構化企業數據連接起來,從而彌合這一差距。
具體來說,Cloudera Machine Learning將提供集成的NIM模型服務功能,以增強推理性能,并在混合和多云環境中實現容錯、低延遲和自動擴展。而NeMo Retriever的加入將簡化檢索增強生成(RAG)應用程序的開發,這種應用程序通過實時檢索相關數據來提高生成式AI的準確性。
其中,NVIDIA NeMo Retriever是NVIDIA NeMo框架和工具系列的一項全新服務。NeMo是一個用于構建、自定義和部署生成式AI模型的框架和工具系列。作為一項語義檢索微服務,NeMo Retriever借助經NVIDIA優化的算法,幫助生成式AI應用作出更加準確的回答。使用該微服務的開發者可以將其AI應用與位于各個云和數據中心的業務數據相連通。這種連接不僅增強了AI應用的準確性,還使得開發者能夠更靈活地處理和利用企業數據。
概括來說,NVIDIA的NIM和NeMo Retriever等微服務為企業提供了一種有效的方式,將AI模型與業務數據緊密地結合在一起,從而生成更加準確和有用的輸出。這為企業提供了強大的工具,可以進一步推動AI在各個領域的應用和發展。
2.數據到生成式AI部署,大大縮短時間
NVIDIA與Cloudera的合作正在為企業打開一扇全新的大門,引領他們更高效地利用海量數據來構建定制化的協同助手和生產力工具。NVIDIA企業產品副總裁Justin Boitano表示:“NVIDIA NIM微服務與Cloudera數據平臺的集成,為開發者提供了一種更加靈活和簡便的方式來部署大型語言模型,從而推動企業的業務轉型。”
通過簡化從數據到生成式AI部署的路徑,Cloudera和NVIDIA旨在加速企業對諸如編碼助手、聊天機器人、文檔摘要工具和語義搜索工具等變革性應用的采納。這一合作建立在兩家公司之前通過將NVIDIA RAPIDS集成到CDP中利用GPU加速的基礎上。
Patel強調了擴大合作帶來的業務好處,他指出:“除了為客戶提供強大的生成式AI能力和性能外,此次集成的結果還將使企業能夠做出更準確、更及時的決策,同時減少預測中的不準確性、幻覺和錯誤——這些都是在當今數據環境中導航的關鍵因素。”
Cloudera將在3月18日至21日于加利福尼亞州圣何塞舉行的NVIDIA GTC上展示其新的生成式AI能力。隨著領先企業探索基礎模型改變其運營的潛力,Cloudera和NVIDIA堅信他們的合作將使客戶站在企業AI新興時代的前沿。