數據庫AI“超級管理員”上線!阿里云開源新技術PilotScope
12月20日,數據庫國際頂會VLDB2024公布新一批論文,阿里云新技術PilotScope成功入圍,該平臺技術可實現AI算法在數據庫的“一鍵部署”,極大降低數據庫中AI算法的應用門檻,為數據庫智能化開辟了全新空間。同日阿里云宣布將PilotScope全部技術免費開源。
圖說:數據庫頂會VLDB2024
數據庫是事關國計民生的基礎軟件技術,數據庫技術的更新影響著數字時代的千行百業,其中一個前沿領域即是數據庫智能化(AI4DB,AI for Database)。現在的數據庫系統非常復雜,對穩定性要求極高,即便將單一AI算法與單一數據庫作匹配調試,也需要雙方工程師緊密配合數周甚至數月,效率低、效果差,導致業界遲遲無法將日新月異的AI算法應用到數據庫中。
圖說:阿里云PilotScope架構圖
針對這一難題,阿里云提出了新解法:通過在數據庫和AI系統級抽象和通用化模塊及接口定義,研發出一個全新的中間件系統平臺PilotScope,讓AI算法在數小時乃至數分鐘內在數據庫內實現“一鍵部署”。VLDB評議認為,PilotScope基于應用場景開創性的系統設計,將開啟數據庫智能化的全新方向。
據了解,PilotScope針對參數調優、索引推薦、基數估計、查詢優化等數據庫主流任務,預置了10多種AI算法,并完成PostgreSQL和Spark等兩大主流開源數據庫的適配打樣。實驗數據顯示,使用PilotScope將AI算法嵌入數據庫,較傳統“硬植入”方法,查詢優化等任務提速1到2倍不等,且PilotScope本身對部署產生的額外代價基本可忽略,表現突出。
圖說:PilotScope效果圖
“PilotScope就像個數據庫AI‘超級管理員’,通過這一平臺,AI工程師只需專注于設計通用算法,可實現對不同數據庫的部署和應用;而數據庫使用者可像調用API那樣,方便又高效地用上AI?!痹擁椖控撠熑酥靏介紹說,PilotScope對數據庫“零侵入”,并設計了智能檢測、回退、隔離等機制,降低AI幻覺風險,在確保數據庫穩定性的前提下實現智能化提升。
目前,PilotScope已在阿里云內部展開試點應用,相關技術也通過GitHub及Modelscope魔搭社區對外免費開源。
據了解,VLDB是數據庫三大國際頂級會議之一,每年僅收錄在學術界和產業實踐中產生重要影響的新成果,是權威的數據庫技術風向標。第50屆VLDB大會預計于2024年8月在中國廣州舉辦。
附開源地址:https://github.com/alibaba/pilotscope