騰訊與華中科技大學合作的最新研究成果，入選了國際數(shù)據(jù)庫頂級會議SIGMOD的收錄論文，并將于6月30日在荷蘭阿姆斯特丹召開SIGMOD 2019國際會議上公開發(fā)表。

入選論文的題目為“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”，此項研究突破性的實現(xiàn)了基于AI技術的數(shù)據(jù)庫性能調(diào)優(yōu)結(jié)果首次全面超越數(shù)據(jù)庫專家經(jīng)驗判斷的傳統(tǒng)方法。該成果由華中科技大學武漢光電國家研究中心周可教授團隊和騰訊技術工程事業(yè)群云架構(gòu)平臺部CDB數(shù)據(jù)庫團隊合作完成，博士生張霽為第一作者。

智能云存儲技術聯(lián)合研究中心由騰訊與華中科技大學于2018年成立，旨在通過強強聯(lián)合，建設一流的智能云存儲技術創(chuàng)新和人才培養(yǎng)平臺。通過吸引匯聚頂尖專業(yè)人才，騰訊與華中科技大學在分布式存儲技術、高性能存儲引擎、業(yè)務負載預測等方面開展聯(lián)合技術攻關，突破超大規(guī)模云存儲服務系統(tǒng)的諸多技術難題，推動智能云存儲技術的科技創(chuàng)新及技術應用落地。本次入選的論文，正是智能云存儲技術聯(lián)合研究中心的聯(lián)合研究成果之一。

SIGMOD數(shù)據(jù)管理國際會議是數(shù)據(jù)庫領域具有最高學術地位的國際性學術會議，位列數(shù)據(jù)庫方向頂級會議之首。

隨著云計算的迅速發(fā)展，中小型企業(yè)通過購買云數(shù)據(jù)庫服務系統(tǒng)，來代替自建和維護數(shù)據(jù)庫服務系統(tǒng)的情況越來越多，以便節(jié)約人力物力。然而，大多數(shù)用戶在購買云數(shù)據(jù)庫服務系統(tǒng)后僅僅停留在使用層面上，在使用過程中經(jīng)常遇到數(shù)據(jù)庫系統(tǒng)性能下降的情況，由于缺少數(shù)據(jù)庫管理系統(tǒng)性能優(yōu)化的經(jīng)驗，用戶很難發(fā)現(xiàn)導致數(shù)據(jù)庫系統(tǒng)性能下降的原因并有效地解決，這就需要云服務提供商為用戶及時地調(diào)整數(shù)據(jù)庫系統(tǒng)參數(shù)，以保證數(shù)據(jù)庫的性能維持在一個較優(yōu)的狀態(tài)。對于擁有數(shù)十萬計用戶實例的云服務提供商來說，完全依賴數(shù)據(jù)庫專家進行數(shù)據(jù)庫參數(shù)調(diào)優(yōu)顯然是不現(xiàn)實的，如何利用AI技術解決數(shù)據(jù)庫系統(tǒng)性能問題已經(jīng)變得越來越重要和緊迫。

該文首次提出了一種基于深度強化學習的端到端的云數(shù)據(jù)庫自動性能優(yōu)化系統(tǒng)CDBTune，如圖1所示。該系統(tǒng)可以在缺少相關經(jīng)驗數(shù)據(jù)訓練的情況下建立優(yōu)化模型，為云數(shù)據(jù)庫用戶提供在線自動優(yōu)化數(shù)據(jù)庫性能的服務，性能調(diào)優(yōu)結(jié)果首次全面超越數(shù)據(jù)庫專家，這將大幅提高數(shù)據(jù)庫運維效率。

圖1 強化學習與數(shù)據(jù)庫性能優(yōu)化關系圖

如圖2所示，在多種不同負載和不同類型的數(shù)據(jù)庫下進行的大量實驗證明，CDBTune性能優(yōu)化結(jié)果明顯優(yōu)于目前已有數(shù)據(jù)庫調(diào)優(yōu)工具和DBA專家。即使在彈性云環(huán)境下，用戶購買數(shù)據(jù)庫內(nèi)存或磁盤大小發(fā)生變化，或負載發(fā)生變化（類型不變）的情況下，實驗證明CDBTune依然保持了較好的適應能力。

圖2 CDBTune性能測試結(jié)果

在實際系統(tǒng)中，如圖3所示，當用戶或者系統(tǒng)管理員有數(shù)據(jù)庫性能優(yōu)化需求時，可以通過相應的交互接口提出調(diào)參優(yōu)化請求，此時云端的控制器通過給智能優(yōu)化系統(tǒng)發(fā)出調(diào)參請求，并根據(jù)用戶真實負載建立的深度強化學習模型推薦出的相應的參數(shù)配置，然后將該配置在數(shù)據(jù)庫中進行設置。反復執(zhí)行上述的執(zhí)行過程，直到待調(diào)參的數(shù)據(jù)庫性能滿足用戶或系統(tǒng)管理員的需求即停止調(diào)參。

圖3 CDBTune系統(tǒng)交互圖

對于該論文，SIGMOD評審委員會給到了極高的評價：The paper is on the exciting new area of tuning databases with machine learning. Specifically using reinforcement learning. It does not just throw machine learning techniques but it does a good effort to explain how the techniques exactly match to the particular problem, what are the analogies with more traditional machine learning terminology, etc. Given that not everyone is knowledgeable in these techniques in the DB community this works in an educational way as well and is very much appreciated. （本文是關于利用機器學習方法優(yōu)化數(shù)據(jù)庫的技術，這是一個令人振奮的新領域。 特別是它使用了強化學習的方法。這篇文章不僅僅是簡單地拋出一個機器學習技術，而且非常好地解釋了機器學習是如何與特定的問題進行完全的匹配，同時也闡述了與傳統(tǒng)機器學習術語之間的類比問題。鑒于在數(shù)據(jù)庫社區(qū)中并非每個人都能對這些技術了如指掌，這也是一種教學方式，因此我們非常贊賞這篇文章。）

每年SIGMOD會議都會吸引大量全球?qū)W術組織和工業(yè)界數(shù)據(jù)庫研究人員參會和分享，也匯聚了學術界和工業(yè)界在數(shù)據(jù)庫領域最前沿的技術研究動向。