阿里10年分布式技術沉淀:阿里高可用體系核心締造者、全鏈路壓測創始人告訴你!
7月27日,云棲社區、阿里中間件將聯合舉辦首屆阿里巴巴中間件技術峰會,為大家揭秘阿里10年分布式技術干貨。
目前活動官網已上線:http://click.aliyun.com/m/24591/, 點擊報名。
本次活動看點十足,大咖齊聚、純正干貨,下面是本次活動演講議題和嘉賓介紹,相信看后定會讓你動心!
議題詳情
雙11核武器全鏈路壓測——張軍 / 阿里巴巴中間件高級技術專家
阿里巴巴雙11備戰期間,保障系統穩定性最大的難題在于容量規劃,而容量規劃最大的難題在于準確評估從用戶登錄到完成購買的整個鏈條中,核心頁面和交易支付的實際承載能力。全鏈路壓測的誕生改變了這一現狀,通過對雙11進行模擬,支持線上不影響正常用戶訪問的集群讀寫壓測,獲得最真實的線上承載能力數據。全鏈路壓測開啟了大促穩定性保障的新紀元,被譽為備戰核武器。
聽眾收益:
1. 阿里為什么要做全鏈路壓測,全鏈路壓測解決什么問題;
2. 全鏈路壓測的核心流程和實現機制;
3. 全鏈路壓測給雙11系統穩定性帶來的改變和價值;
AliSQL:引領開源技術變革之路——何登成 / 阿里巴巴數據庫資深技術專家
AliSQL,阿里巴巴的開源MySQL分支,從2010年開始研發,至今已經走過了7個年頭,成功支持了歷年阿里雙11購物狂歡節、螞蟻新春紅包的大促活動。在阿里巴巴業務飛速發展的驅動下,相對于開源MySQL,AliSQL在性能優化、功能增強、可運維性提升等方面都做了大量改進。2016年我們在Percona Live上完成分享后,Percona首席布道師Colin Charles聽完后大加贊賞。而從2016年初開始,AliSQL的發展在原有基礎上更進一步,一舉推出了多個創新性的產品和功能:高性能訪問接口X-KV,高性能可全球化部署的AliSQL多副本強一致集群X-Cluster,融合了RocksDB存儲引擎的AliSQL(RocksDB)等等。
聽眾收益:
1. 簡單總結分享AliSQL從2010年到2015年這段時間的性能優化、功能增強和可運維性提升
2. 重點分享AliSQL在最近兩年的技術和產品突破:X-KV、X-Cluster、AliSQL(RocksDB)。分享我們為什么會做X-KV接口?我們在技術上做了什么,使得X-Cluster相對于MySQL官方的Group Replication有著近5倍的性能提升?等
3. 總結我們的分享,簡單探討阿里數據庫未來發展的一些規劃。
阿里巴巴海量數據場景下的OLAP解決方案——焦方飛 / 阿里巴巴中間件技術專家
針對阿里巴巴集團海量數據環境下準實時多維ad-hoc查詢以及存儲成本高的問題,中間件團隊研發了兩款數據庫產品:
1. HiStore(高性能OLAP列式存儲數據庫):作為阿里巴巴集團規模最大的OLAP列式存儲數據庫,是一款分布式低成本分析型OLAP數據庫產品, 它基于獨特的知識網格技術,有效的解決了海量數據存儲的成本問題,以及在百億數據場景下支持實時高效的多維度ad-hoc查詢。HiStore在阿里內部已經應用于多個核心應用,也應用于很多外部用戶,場景包括數據倉庫、商業智能、用戶畫像、報表分析、物聯網等等,無論成本、性能、穩定性都表現完美。
2. HiTSDB(時間序列數據庫):是一種高性能、低成本、穩定可靠的在線時序數據庫服務。HiTSDB 廣泛應用于物聯網、工業制造、電力、化工以及IT運維等行業海量設備數據實時運行監測、趨勢展現分析、故障診斷、業務預研等場景。HiTSDB 提供百萬級時序數據別秒級寫入、高壓縮比低成本存儲、預降精度、插值、多維聚合計算、查詢結果可視化等功能,解決由于設備采集點數量巨大、數據采集頻率高,造成的存儲成本高、寫入和查詢分析效率低的問題。
聽眾收益:
1.如果你對海量數據OLAP領域感興趣,并希望需求在數據倉庫、商業智能、用戶畫像、報表分析、物聯網等領域尋找高效的存儲解決方案,而且對海量數據下的存儲成本感到頭痛,HiStore將會使你受益匪淺。
2.如果你對時間序列數據領域感興趣,并且對監控領域、IoT物聯網等領域的metrics指標、海量設備數據等與時間相關的數據存儲和高效分析感興趣,那HiTSDB將是你不二的選擇。
雙11高可用架構演進之路——周洋 / 阿里巴巴中間件技術專家
阿里從09年開始做雙11,日交易額從09年的5.9億漲到15年的912億,訂單創建峰值從400漲到14萬每秒,規模增長上百倍,系統的復雜度更是以指數級攀升,面對業界前所未有的挑戰,技術團隊走上了自主創新的道路,建設了大量高可用性技術產品,經歷了幾個階段的技術架構演進。
聽眾收益:
1.阿里歷屆雙11的技術架構演進。
2.高可用技術產品發展之路。
3.雙11保障的最佳實踐。
萬億級數據洪峰下的消息引擎——馮嘉 / 阿里巴巴中間件架構師
2016年,阿里巴巴將自主研發的第三代分布式消息引擎RocketMQ捐贈給Apache軟件基金會。作為近些年雙十一大促核心基礎產品,它的架構演進是怎么樣的?面對雙十一萬億級洪峰,它是如何保證穩定性和可用性的,都有哪些借鑒思想?面對分布式經典問題 - 慢請求,它是如何做到99.996%的延遲落在了10ms以內,而99.6%的延遲在1ms以內的?進入Apache后,我們是如何發展社區的,下一代消息規劃是什么樣的?本次分享將為大家帶來分布式消息引擎在存儲上的低延遲優化分享,高吞吐的性能優化以及Apache社區發展動態。
聽眾收益:
1.了解雙十一海量分布式消息引擎背后的設計哲學。
1. 了解萬億級數據洪峰下分布式系統的高可靠,高可用建設之道。
2. 了解Apache RocketMQ的發展規劃、生態建設,下一代消息規范演進等。
微服務架構上云的最佳實踐——李顏良 / 阿里巴巴中間件技術專家
EDAS 誕生兩年多以來,接觸了上千的客戶;在幫助傳統企業向互聯網轉型的過程中,積累了大量微服務實踐的經驗;在我們接觸的研發團隊中,有一些問題是由于開發環境或者開發模式的轉變而帶來的。
這一次分享圍繞著微服務上云的場景,跟大家分享幾個典型的案例;跟大家探討如何避免類似的場景在自身的研發團隊中發生。
聽眾收益:
1. 如果您是涉足微服務領域不太久的同學,通過這次分享可以解開部分疑惑如:如何對服務進行重構、拆分。
2. 如果您的服務即將上云,這次分享會告訴您服務上云時一些典型的容易踩到的坑。
3. 如果您是微服務領域的老司機,這次分享的案例或許能讓你有種似曾相似的感覺
分布式數據庫:從線性擴展談分布式JOIN——孫夢石 / 阿里巴巴數據庫技術專家
分布式JOIN,在分布式數據庫中是一個很常見的需求,但分布式JOIN絕非只是一個詞,他有很多的策略、很多的變種。那么如何評價一個分布式JOIN是否適合去做,是大家學習DRDS等分布式數據庫一個重要的課題。
我們會從使用DRDS等分布式數據庫的最原始的初衷,實現系統的線性擴展說起,來為大家分析分布式JOIN到底是怎么一回事。
聽眾能夠了解到以下為:
1.什么樣的分布式數據庫設計,才能做到線性擴展;
2.分布式JOIN是怎么一回事,有哪些種類,適合什么場景;
3.與分布式JOIN非常相關的一個東西,分布式索引應該如何設計。
阿里電商架構演變之路——謝吉寶 / 阿里巴巴中間件高級技術專家
阿里巴巴是全球規模最大的電子商務平臺,也是國內互聯網業界最早實踐SOA理念的公司之一。依托于其所帶來的巨大流量和海量數據,以及對于電子商務平臺固有的穩定性要求,使得團隊有機會去面對一個又一個技術難題,創造一個又一個技術奇跡。從一個初創型業務,到一個高速發展型業務,再到一整個生態體系。阿里的技術體系架構經歷了無數嚴酷的考驗:去IOE,雙11,異地容災。在這個topic中,讓我們一起溫故知新,看看阿里電商架構演變歷程。
聽眾受益:
1. 了解阿里巴巴核心架構的演變歷程;
2. 了解阿里中間件的發展歷程;
嘉賓簡介
馮嘉,阿里巴巴中間件架構師,Apache RocketMQ聯合創始人、OpenMessaging規范聯合發起人。具有豐富的分布式軟件架構、高并發網站設計、性能調優經驗,擁有多項分布式、推薦領域的專利。開源愛好者,關注分布式、云計算、大數據領域。目前主要負責阿里巴巴消息中間件生態輸出、MQ商業化,Apache RocketMQ社區步道。
焦方飛,阿里巴巴中間件技術專家,9年技術開發和系統架構經驗,2014年加入阿里巴巴中間件團隊,從事分布式服務框架、分布式鏈路跟蹤系統的研發和架構演進工作,多次參與雙11關鍵服務的保障工作,隨后從事OLAP數據庫領域的研發和推廣工作,從無到有見證了阿里巴巴海量數據OLAP場景下以及時序數據場景下新產品的誕生和成功,完美的解決了集團海量數據存儲成本高、查詢性能不足的問題。
李顏良,阿里巴巴中間件技術專家,EDAS團隊技術專家,近十年的軟件開發經驗,先后參與過外企、中大型互聯網企業團隊、創業團隊的研發,在服務化領域積累了大量的實戰經驗;目前參與企業級分布式應用服務 EDAS 的核心研發,致力將 EDAS 打造為微服務領域的超級 PaaS 平臺。
周洋,阿里巴巴中間件技術專家,8年技術研發和架構經驗,全程參與阿里高可用體系的建設和演進,主導了阿里巴巴強弱依賴治理、灰度發布、線上故障演練等多款高可用產品的研發和落地。深度參與大促、常態穩定性保障工作,積累豐富架構和穩定性經驗。2015 年作為共享事業部的大促PM,負責大促和常態穩定性的保障工作。目前主要工作在高可用產品體系云化輸出和集團常態化穩定性保障方面。
孫夢石,阿里巴巴數據庫技術專家,分布式關系型數據庫服務DRDS與TDDL負責人,從0開始設計并開發了分布式數據庫DRDS,在分布式系統架構設計、分布式數據庫使用及優化,都有很多的經驗。參與淘寶每年的雙十一,成功支持蝦米、優酷等子公司使用DRDS,融入阿里技術體系,支持云上眾多用戶實現數據庫的線性擴展。
謝吉寶,阿里巴巴中間件高級技術專家,2010年加入阿里巴巴集團,10余年技術研發和系統架構經驗。2012年加入中間件技術部高可用架構團隊,一直從事高可用建設相關工作,主導設計了灰度發布系統、共享服務化平臺、中間件運維平臺、建站平臺以及異地多活的架構演進。見證了阿里巴巴的高可用產品體系從1.0到3.0的整個發展歷程,積累了豐富的架構和穩定性經驗,多次參與雙11負責穩定性保障工作,目前負責阿里異地多活和同城雙活的高可用體系建設和中間件的DevOps。
張軍,阿里巴巴中間件高級技術專家,阿里高可用體系核心締造者,全鏈路壓測創始人,具備多年的大型ERP軟件、金融領域和電商領域的高可用架構經驗,11年加入阿里巴巴中間件&高可用架構團隊,在高可用領域積累了豐富的實戰經驗。領導設計和建設了阿里的容量規劃體系、全鏈路壓測體系、限流降級體系、開關預案體系、流量調度體系等眾多高可用架構基礎設施,成為阿里雙11大促備戰必不可少的核心利器,為阿里數十個業務單元,上千個系統提供高可用的基礎技術支撐。
何登成,
資深數據庫內核研發專家,從04年開始從事數據庫內核研發達10+年以上。先后參與并主導過國產神舟Oscar數據庫,網易自研存儲引擎NTSE/TNT等數據庫產品的研發。同時也作為數據庫總負責人參與了多年阿里巴巴雙11購物狂歡節,螞蟻新春紅包的備戰保障工作。有著豐富的數據庫內核研發經驗和數據庫應用架構經驗。目前為阿里巴巴數據庫內核研發團隊負責人,主導AliSQL的產品研發(AliSQL:開源MySQL的阿里分支)以及下一代數據庫系統的規劃和研發工作。工作之余,喜歡通過微博平臺(微博賬號:何_登成)跟大家交流探討數據庫技術以及高性能、分布式、軟硬件結合等技術。