第四范式推出開箱即用“AIOS社區版”,助力開發者高效構建智能化應用
原創【51CTO.com原創稿件】 AI發展至今歷經數次起伏,關于AI 應用的落地也一直伴隨爭議。但不可否認的是,在企業數字化轉型過程中,AI能力必不可少。為了讓 AI 在企業智能化進程中發揮價值,必須具備集應用、數據、算力為一體的能力模型。三者相輔相成,互為聯接,任一環節的缺失都會影響到最終結果。沒有應用,海量數據會淪為死數據,算力也無法產生價值。但事實上,AI落地的速度遠落后于數據的增速和算力的投入。而第四范式的目標就是要解決AI應用門檻高對三者聯接的阻塞。
AI落地“三大屏障”:應用、數據、算力
自動機器學習(AutoML)技術可以把特征提取、模型選擇、參數調節等機器學習的復雜過程實現自動化。這種技術無疑有利于降低機器學習應用于現實問題的難度,因此近年來一直是人工智能業界最為熱門的領域之一。第四范式自成立以來就致力于研發能快速構建AI應用的自動機器學習技術,如今又努力將這種自動化能力拓展到AI應用的大多數環節。
數據是整個AI系統運轉的“原料”,沒有數據,AI應用就是無本之木。但是數據治理的過程又極其艱難,要占據數據科學家絕大多數的時間和精力。但如果有了數據形式,就可以更快地將原始數據變成AI ready的數據,一鍵開啟建模和應用。為此,第四范式開創了“數據形式”方法論,每一個數據形式,定義了相應業務場景里所需的數據標準,包括需要什么樣的數據、從哪里去取,應該如何處理。
除了應用的快速構建,數據的輕松使用,算力價值的發揮也至關重要。越來越多AI異構芯片的出現,加速了AI異構計算芯片對操作系統內核進行管理的細分需求。為此,第四范式研究人員打造了AI異構資源調度與管理平臺AIOS Kernel,實現了動態調度和虛擬化算力資源功能,有助于最大限度發揮算力價值。
“三大聯邦”賦能企業AI轉型
在年度發布會上,第四范式的企業級AI操作系統Sage AIOS 升級到了2.0版。同時,第四范式以企業級智能應用市場4Paradigm Sage App Store為平臺基礎,擴展為應用聯邦、數據聯邦、算力聯邦三大網絡,全面加速企業的智能化轉型。
基于應用聯邦,企業可以基于數據和算力共享的應用快速組裝個性化的智能方案,加快智能化的速度;
基于數據聯邦,企業可以安全保護數據隱私的情況下更好地利用數據,提升業務價值;
基于算力聯邦,企業可以屏蔽掉異構分布式算力的復雜性,更好地應對AI算力異構化的趨勢。
目前,第四范式與多家國內外服務器廠商進行了深度適配和優化,希望通過軟件定義算力,盡可能降低分布式異構算力趨勢所帶來的復雜性。未來,第四范式希望借助4Paradigm Sage AIOS 2.0及4Paradigm Sage App Store,聚集開放生態和合作伙伴的力量,幫助更多行業快速開啟智能化轉型與質變之旅。
開源兩大底層技術棧:給開發者最需要的東西
值得關注的是,第四范式還計劃在一年內將 95% 核心技術開源出來。發布會上,第四范式就面向開發者社區開源了AIOS的兩個核心底層技術棧——OpenMLDB機器學習數據庫和OpenAIOS人工智能操作系統內核。
OpenMLDB:為AI而生的機器學習數據庫
機器學習技術的深入往往伴隨著機器學習模型的高頻次進化,這也意味著正確數據供給的重要性不斷提高。ML需要實現理性和瞬時高效的推理判斷,但無論是事務型數據庫、分析型數據庫還是傳統數倉,在執行這類任務時都無法保障正確的數據供給。實際應用開發與落地過程中,仍然會大量出現數據穿越、泄露、離線在線不一致、拼接錯位等數據問題。
與Hadoop、Oracle、MySQL 這些傳統數據庫相區別,OpenMLDB是專為AI而生的機器學習數據庫,解決了3個核心數據問題:線上線下一致性、數據閉環、數據時序正確。
一方面通過統一的數據存儲引擎避免了跨數據庫的信息交換,避免了大腦之間的信息交換;另一方面通過統一的數據計算引擎,使離線和在線使用同一套計算邏輯,確保了總結規律和線索演算時思維方式的一致;
在時序正確性上,OpenMLDB 通過使用自動時序拼接語法和時序泄露檢測模塊,避免了錯誤的數據使用;
在閉環完整性上,OpenMLDB也進行了針對性的矯正,通過對線索與反饋的自動拼接檢測與自動關聯,保障了唯一拼接標識,避免了數據拼接錯位的問題。
OpenAIOS:完全面向AI的分布式操作系統內核
除了數據上的困局,AI在計算、存儲、通信等方面也是“資源大戶”,低效的硬件資源利用率也是轉型的一大掣肘。不同的異構芯片、異構存儲、異構通信設備,都需要操作系統內核進行統一的管理與調度,保障任務的成功率與資源利用率。第四范式OpenAIOS是一個完全面向AI的分布式操作系統內核,實現了多級計算內核、多級存儲內核以及多級通信內核,來應對異構算力的管理和調度。
在算力方面,OpenAIOS 的多級計算內核有針對性的設計硬件之間的協同處理策略,將計算任務進行工作量拆分,通過統一的智能化調度,將拆分后的任務給到不同的專用計算芯片進行處理。
在存儲方面,面向存儲密集型技術組件,因為內存和顯存不夠導致的任務失敗是開發者最常遇到的難題。在不侵入現有應用和代碼的情況下,OpenAIOS 在操作系統內部建立了一套面向內存和顯存的多級存儲內核,通過自動擴容策略和多級緩存機制將存儲容量進行擴展,降低整體存儲成本的同時提高了任務的成功率。
在通信速率方面,數據的交換效率是人們關注的重點,OpenAIOS 提供了多級通信內核,在機器學習特有的梯度權重交換等環節,提供了低延遲、高吞吐的通信框架,以及面向異構加速器的專用通信協議,減輕數據通信上的壓力。
下一步:如何將AI帶來的量變推到質變
在兩大底層技術棧開源的基礎上,第四范式開放了開箱即用的“AIOS社區版”,整合了OpenMLDB和OpenAIOS,社區和開發者可在免費的線上算力和應用開發環境進行體驗和學習。并支持多種本地 IDE,讓大家保持PC上開發單機應用體驗的同時,無縫的將分布式任務對接到異構云資源上。在應用的開放性上,除了內置的核心應用,AIOS 社區版也提供了應用商店,能夠支持所有的云原生第三方應用。
對于AI發展的預期,第四范式創始人兼CEO戴文淵提到,科技改變產業最重要的是能否找到臨界點。當跨過這個臨界點后,想象空間將變得無限大。在他看來,下一階段的最大挑戰是如何進一步將AI帶來的量變推到質變,使得企業真正實現AI轉型。率先轉型成功的企業,都是利用AI決策賦能關鍵業務場景,最終突破業務臨界點實現質變。當AI在關鍵場景驗證成功后,就能逐步拓展到所有業務領域,最后實現企業經營的質變。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】