“在昨天下午北京云棲大會TechInsight，阿里巴巴數據庫團隊的8位專家一同分享了阿里數據庫***實踐。超大規模的業務壓力，在阿里巴巴內部淬煉出了一套完整的企業數據庫解決方案：超大數據規模的分庫分表技術、毫秒級別的跨地區數據傳輸、秒級RPO的備份技術、混合云數據庫管理、支撐數萬研發的數據庫devops平臺、基于機器學習的智能數據庫優化技術。” 

釘釘、優酷、高德、盒馬、菜鳥、飛豬、蝦米、阿里智能，現在阿里巴巴的業務已經不再是幾年前的淘寶天貓了。對于阿里數據庫技術團隊也不再是簡單電商場景了。今天阿里的數據庫不再是簡單的電商業務，而是涵蓋了視頻娛樂、IM、地圖、在線零售、新零售、物流、在線旅游、音樂、IoT等等縱多領域。同時，雙十一交易從2012年的191億增長到了2017年1682億，數據庫上的交易峰值也以數十倍的速度在增長。另外，阿里巴巴的全球化戰略，給數據庫基礎服務帶來新的挑戰。 

豐富的業務場景、極端的業務壓力、全球化的挑戰，讓阿里數據庫技術團隊淬煉出一套適合企業的數據庫的實踐。 

超大數據規模下的分庫分表技術實踐 

在阿里巴巴去IOE的浪潮中，數據庫面臨的***個問題就是，運行在普通PC Server上的MySQL在單機容量、性能等方面無法直接替換原來的存儲和小型機架構。另外，如果單個MySQL數據庫太大，給數據庫備份、DDL變更等都會帶來很大的復雜度。DRDS（內部版本為TDDL）就是在這樣的背景下產生的，通過DRDS的分庫分表功能，化整為零，一方面讓核心數據庫的壓力分到多個分庫中，實現了性能和容量的巨大的擴展能力；另外，單個較小庫表也給維護帶來很大的便利。在剛剛過去的的雙十一，交易核心庫承擔約32.5萬/秒的交易創建，如果是傳統的集中式架構很難想象需要怎樣的硬件支撐。

毫秒級延遲的數據傳輸服務 

在兩年前，阿里巴巴上線了數據中心異地雙活項目。阿里在全國很多地方都有數據中心，異地雙活一個***的挑戰就是如何在毫秒的級別實現跨地區數據中心的數據同步。如果這個延遲很大，舉個例子，賣家更改了一個商品描述、或者修改了價格，那么有的地區的用戶可能很久才能看到，這對買家和買家體驗上都是巨大的犧牲。 

我們早在2010年就開始在數據庫流技術做了很大的投入，通過在網絡傳輸、并發寫入等方面的***優化，保證了多數據中心毫秒級的數據復制延遲。 

2015年，我們在阿里云上也以產品的形式輸出阿里巴巴數據流技術：數據傳輸DTS。除了復雜異地多活，DTS還可以解決很多企業內部數據流的問題，例如在線數據庫上的數據變更，可能同時有數個下游需要這些數據，比如數據倉庫、搜索、相關業務、實時大屏等。在云端，我們的一個典型的客戶的場景，當有新的用戶進行某個操作（或者是一次購買，或者是某次簽到），那么下游的運營系統，可能要實時對用戶行為進行一次分析，同時根據智能的分析，決定向用戶推送某個實用的信息或者運營消息等。 

基于數據流技術的，秒級RPO備份技術 

數據傳輸DTS是通過日志獲取的方式來獲得數據變更。這項技術的另一個創新應用就是，實現秒級RPO的在線數據備份，這種備份構想已經通過“數據庫備份DBS”產品在阿里云上賦能企業用戶。我們先對數據庫進行一次全量備份，然后使用DTS相同在線日志獲取技術獲取***的數據庫日志，然后對日志進行存儲歸檔，從而實現秒級RPO的備份解決方案。 

目前，云上的用戶已經可以DBS進行數據庫備份。針對云環境的特殊性，我們新增了加密傳輸和存儲模塊，存儲的目標也支持標準、低頻、歸檔多種OSS存儲類型，讓用戶可以更低成本、更安全的使用秒級RPO的數據備份解決。 

支撐數十個機房，數十萬實例的混合云數據庫管控技術 

阿里巴巴數據庫管控系統發展至今已經到了第四代架構，第四代架構是基于BASE理論和微服務架構下完成，實現了管控系統的多機房容災問題。另外，海量的數據庫管理也帶來更多的挑戰：全網秒級監控讓您輕松掌握數據庫上千個指標，抓住數據庫每一個細節；異地多活讓你如何通過一鍵完成異地數據庫搭建，實現異地數據庫服務；一般管控系統更多聚焦在運維層面，而阿里的企業級服務還具備更多垂直的數據庫能力，例如數據軌跡、數據回滾、數據庫壓測、業務大盤等。 

支撐數萬數據庫用戶的DevOps數據管理平臺 

企業規模快速發展，帶來的兩個大的挑戰，管理的數據庫數量巨大，使用數據庫員工也非常多。但是，DBA團隊卻很難以相同的比率增長。具體的，我們發現，DBA業務壓力巨大，需要處理事情繁多；同時，新入職的員工，對于數據庫開發標準并不熟悉，給線上數據庫的穩定性帶了很大隱患。 

既要有DBA的安全把控能力，又希望高效支撐大量業務的發展，阿里數據庫團隊研發了自己的企業數據庫管理平臺：iDB。企業內部的研發、測試等人員，可以使用iDB完成大部分數據庫相關的操作，包括數據查詢、數據變更、結構變更、實例申請等等。另外，iDB產品中還繼承了大量DBA的經驗，比如判斷哪些DDL會鎖表、InnoDB表結構設計是需要主要哪些問題等等。 

iDB上可以閉環完成所有的數據庫服務，包括實例申請、庫表設計、變更發布、數據查詢、數據變更、邏輯表查詢、數據庫下線等全生命周期的數據庫實例管理。同時，通過平臺集成的數據庫能力，讓研發有了更強數據庫能力，也保障了線上業務的穩定。

我們已經將iDB的設計理念通過數據管理DMS企業版進行云上輸出，根據企業流程定制數據庫DevOps生命周期，期待DMS企業版能夠大放光彩。

基于機器學習的智能數據庫性能優化技術 

隨著阿里巴巴快速擴張，傳統的DBA支持的性能優化模式的弊端很快就體現出來：被動優化(監控/報警/慢SQL/應用報錯等)；優化過程耗時耗力且低效，較難形成閉環；優化結果受限于人的局限性；優化操作大規模復雜場景下缺乏擴展性；優化決策過程中數據價值缺失；DBA專家緊缺與數據庫服務要求高效及時之間的矛盾越來越突出。 

智能數據庫性能優化技術在性能優化上分五大部分：收集、分析、預測、優化、驗證。可以完整的、自助的完成優化并評估優化的效果。給企業帶來多方面的價值。信息透明：向開發人員提供全面專業的數據庫信息分析和展示。自助化服務：全面專業的診斷優化建議，診斷流 程閉環，提供自助優化服務。自診斷、自優化：基于海量數據和機器學習的自診斷、自優化能力。降低成本：發現規模化優化點，優化資源管理，降低計算和存儲成本。專家經驗產品化：DBA專家優化經驗轉服務產品化，降低人工成本，提高服務質量和效率。主動優化：持續主動優化數據庫性能，提高數據庫穩定性。