阿里巴巴集團數據庫技術總負責人、阿里研究員張瑞做了開場分享。張瑞2005年加入阿里,前兩天剛剛滿13周年,親歷了阿里整個數據庫技術的變遷和發展。數據庫理論在上世紀70年代被提出,Oracle抓住了機會,推出了基于磁盤設計的數據庫。后來,Flash技術成熟、PC上CPU能力增強,在這兩個背后推手下,阿里完成了去IOE的數據庫架構升級。隨著互聯網技術快速發展,分布式大數據也開始沖擊著傳統的關系型數據庫。
一直以來,雙11是阿里技術的助推劑,阿里通過分布式數據庫中間件擴展已經能較好地支持雙十一活動,這個背景下,從2016年阿里巴巴開始思考需要的下一代的數據庫到底是什么?一個是已經成熟的分布式架構,一個是今天與云結合的很緊密的存儲計算分離技術。雙11極端的壓力下還要優化成本,希望用原來1/10的成本把性能再提升10倍,今天新的硬件也在快速發展,包括內存、FPGA、更高效的網絡等等。站在當下看未來,數據庫現在又到了技術的最前沿,各種技術百花齊放。***,張瑞表示,希望和在座的各位一起來探索未來十年數據庫的改變與突破。
阿里資深專家佳毅帶來雙11黑科技分享《數據庫優化之路》。他提到,雙11數據庫面臨三大挑戰:數據強一致的問題、性能問題、成本問題。今年使用阿里新一代數據庫X-DB來應對這些挑戰。X-DB底層使用自研高性能Paxos基礎組件X-Paxos,借此解決數據強一致的問題。對于性能和成本,底層使用Batching 和Pipelining技術來大大提升數據庫的事務處理能力。同時佳毅也分享了通過ESDB、X-KV等技術解決各種復雜的性能問題,通過容器化與存儲計算分離讓數據庫做到***彈性,***佳毅分享了阿里巴巴正在通過CloudDBA產品大大降低DBA服務人力成本的問題。
玄慚是云上的數據庫性能優化高級專家,同時也是歷年雙十一RDS的技術保障負責人,他的分享是《云數據庫RDS雙11***實踐》。當使用云上的RDS需要支撐類似雙11這樣的大型活動的時候,玄慚分享了如何從參數優化、鏈路訪問、性能優化、彈性擴容、架構設計,這五個方面去優化數據庫,應對高并發的訪問。
IoT是當前最熱門的技術趨勢之一,大量IoT設備產生的時序數據該如何存儲?在接下來阿里時序數據庫高級專家悠你的分享中,以一個典型的工業IoT案例-風電場為案例,介紹了如何使用云端的高性能時序數據庫HiTSDB來存儲大量的時序數據存儲。同時介紹了HiTSDB在時序數據處理上的主要優勢,包括聚合查詢、實時響應、海量數據存儲等方面的優秀技術成果。
下午的***場由阿里資深專家斗佛帶來《企業數據安全管理***實踐》。一直以來,由于數據訪問的隨意,給企業數據帶來非常大的泄露風險,甚至也出現過很多次企業的CEO或者CIO為此而被迫辭職的情況發生。硬件損壞、軟件bug、內部數據泄露等等都是企業數據安全的挑戰。斗佛介紹了阿里巴巴數據安全解決方案如何解決這些問題。同時他透露,對應的阿里云上即將商業化的“數據管理DMS企業版”將把阿里內部的經驗賦能給所有云上的用戶。
從08年開始,阿里巴巴內部就開始了分庫分表技術的探索,10年來,在內部沉淀的分庫分表數據庫中間件產品叫TDDL,對應的在云上的產品為DRDS。這一次,阿里分布式數據庫技術專家夢實給大家帶來了全新一代的DRDS引擎,帶了數倍的性能提升、更復雜的SQL能力、更具可讀性的優化器執行計劃等。他還透漏了一個重磅消息,新一代引擎將很快發布,并且在今年會對外完全開源。
阿里OLAP數據庫高級專家知數在《分析型數據庫AnalyticDB2.0雙11實踐》中為大家介紹了如何使用實時分析型數據庫ADS來解決一些在線OLAP型業務問題。比較典型的場景包括營銷管理、推薦、預測、安全風控等。知數以阿里雙11內部多個場景為案例,展示ADS在這些業務上的表現。
隨著DT時代的到來,企業占有的數據越來越多,其規模可能達到上百TB甚至PB級,如何以合理的成本管理并維護這樣一個數據庫也成為各個企業IT管理中的核心問題。阿里云數據庫高級專家南仙的分享《云數據庫HybridDB HTAP技術實踐》介紹了如何通過阿里云數據庫團隊自研的新型HTAP數據庫,同時支持OLTP和OLAP場景,它基于創新的計算存儲框架,在一份數據上保證事務的同時支持實時分析,省去了費時的ETL過程。
隨著企業業務的發展,內部的數據流動會變成一個很大的挑戰。阿里數據庫架構師西壁帶來的《數據實時同步解決方案》介紹雙11數據突增時,如何解決阿里內部的數據流動,具體的場景包括異地多活、媒體大屏、緩存更新、實時消息、新零售混合云等。如果是阿里云上的用戶,則可以通過數據傳輸服務DTS來解決類似場景的問題。
在***的圓桌會議環節,多位阿里數據庫技術專家暢談了自己對雙11技術、異地多活、分布式數據庫、分庫分表技術等的展望,同時也回答多個參會者相關的問題。從全國多個城市趕來的參會嘉賓表示不虛此行,直言這是近幾年聽到最純正的技術型會議。