人工智能范式從模型為中心轉向數據為中心
面向數據的人工智能可以有助于減少生成式AI系統中的幻覺和偏見,從而提高其輸出質量。
譯自The Paradigm Shift from Model-Centric to Data-Centric AI,作者 Rahul Pradhan 擁有16年以上的經驗,目前擔任Couchbase的產品和戰略副總裁。
隨著變壓器神經網絡和生成對抗網絡(generative adversarial networks,GAN)人工智能(artificial intelligence,AI)的進步,當前正在出現一次當代科技領域最大的變革。這些技術同時也具有解鎖創新和規模化創造力的潛力。
隨著AI開發的演變,數據成為至關重要的要素。數據是推動機器學習項目的生命線,將單純的概念轉化為可執行的見解。然而,在AI項目中有效利用數據的道路上充滿挑戰,這些挑戰會阻礙AI的采用并實現轉型價值。
為增強AI開發,一個范式的轉變正在出現,即從以模型為中心向以數據為中心的AI轉型。這種轉變可以顯著幫助減少生成對抗網絡系統中的幻覺和偏見。關注以數據為中心的AI,并將模型更接近數據,將改善AI模型的輸出,并使企業能夠發掘其全部潛力。
以模型為中心的AI方法
以模型為中心的AI方法是機器學習發展的傳統方式。它涉及迭代改進模型的性能,目的是為給定的數據集產生最佳的模型。研究人員和工程師花費大量時間微調模型的參數、層數和其他架構元素。然而,由于歷史上構建和微調模型非常復雜和資源密集,需要深厚的專業知識才能產生有意義的輸出,因此數據往往被視為次要的。
向以數據為中心的AI轉型
相比之下,以數據為中心的方法改進了模型訓練所基于的數據質量。它包括數據清理、增強和確保數據能代表模型將要部署的真實世界場景。
隨著人工智能(AI)模型的成熟、多樣化和復雜性的擴展,組織應著力提升數據質量,并在模型和數據之間建立更緊密的聯盟。在這種不斷發展的敘事中,進行必要而明確的轉變是非常重要的:將模型更接近數據,而不是將數據傳輸到模型。其結果是提高了模型輸出質量,并減少了經常困擾AI系統的幻覺。以數據為中心的AI方法是組織的基石,這些組織希望提供以最新數據為基礎的生成的和預測的體驗。
盡管以數據為中心的AI是未來發展的方向,但以模型為中心的AI仍然發揮著關鍵作用。它在數據有限或目標是探索模型復雜性和性能極限的場景下尤為重要。它對推進AI研究前沿以及高質量數據可能不容易獲得的解決方案至關重要。
用數據為中心思維重新構想AI
通過轉變為確保數據質量和相關性的以數據為中心的AI方法,組織可以獲得以下好處:
通過提高數據質量來橋接現實
以數據為中心方法的典型優勢之一是能夠提供與真實世界場景緊密結合的體驗。與模型往往在低質量數據的謬誤中掙扎的以模型為中心方法不同,以數據為中心的人工智能(AI)力求彌合AI模型與其試圖導航的動態現實之間的鴻溝。
減輕幻覺的陰影
AI幻覺主要是由缺陷數據造成的,其特征是生成不正確或虛構的信息。轉向以數據為中心的方法可以增強減少這些錯誤的可能性。在更干凈、更具代表性的數據集上訓練模型會產生更準確、更可靠的輸出。
釋放預測和生成AI的全部潛力
在高質量數據的堅實基礎上,組織可以釋放AI預測和生成能力的全部譜系。這種轉變使AI更能夠解釋現有的數據模式,同時也可以生成新的見解和體驗,培育創新和明智決策的文化。
以數據引領AI演進的未來
從以模型為中心向以數據為中心的人工智能(AI)方法轉型,代表了一種基本的思維方式的改變。這是將數據置于AI變革之旅的核心。這種轉變不僅僅是一種技術調整,而是一種概念上的重新校準,將數據置于AI的核心。在組織走上這條道路的過程中,他們必須培育一個強大的數據基礎設施,培養數據素養,并營造一種重視數據的文化,將數據視為AI承諾的基石。
融合兩者的優勢
構建強大的AI解決方案需要對何時強調數據和關注模型創新進行細致的理解。平衡運用以模型為中心和以數據為中心AI的優勢,對解決當今的AI挑戰至關重要,這樣組織才能從AI項目中獲得最大價值。為了幫助確保AI模型是在最新的數據上開發的,并且準確可靠,組織必須接受向以數據為中心的AI轉型。