阿里云資深專家湯子楠:雙11背后的計算力量
12月23日,2015云棲大會廣東峰會在廣州召開。阿里云資深專家湯子楠在演講中表示,雙11不斷打破交易紀錄的背后,有阿里巴巴強大的計算力量作為技術支撐。
湯子楠在演講中重點介紹了阿里***規模混合云架構、異地多活技術、自研數據庫OceanBase、https加密技術、云上商家系統聚石塔、大數據處理引擎ODPS等等,展示了阿里巴巴強大的底層技術研發實力。
阿里云資深專家湯子楠
湯子楠表示,今天阿里內部的計算能力正通過阿里云向外界開放,越來越多的合作伙伴也從阿里的技術中受益,服務于更多的客戶。
全球***規模混合云架構實踐
湯子楠介紹,今年雙11阿里巴巴把淘寶、天貓私有云機房與阿里云公共云機房連在一起,打造了全球***的混合云架構。淘寶和天貓的交易鏈條和支付寶核心支付鏈條的部分流量,直接切換到阿里云的公共云計算平臺上。通過將公共云和專有云無縫連接的模式,全面支撐雙11。
因此,今年雙11成為了一場全球***規模的混合云彈性架構實踐。阿里巴巴也成為全球大型互聯網公司中,***將核心交易系統放在云上的企業。阿里云也成為***家有能力支撐核心交易系統的云服務商。
上云之后,阿里巴巴能夠充分利用云計算的彈性優勢,隨時調度資源。而在雙11之后,又能快速歸還資源到公共計算池,避免高峰期過后的閑置浪費。正是基于此,系統成功應對了當天14萬筆/秒的交易創建峰值,和8.59萬筆/秒的支付峰值。
會議當天,阿里云與國內***的第三方高等級數據中心服務商萬國數據(GDS)達成戰略合作,共同推出云計算技術服務平臺CloudMix,打造企業級混合云數據中心,推出多個垂直領域的企業級混合云解決方案和混合云服務,重構企業級云生態。
今年6月份,阿里云還同全球***的數據存儲服務商NetApp達成混合云合作。雙方共同開發適用于阿里云的NetApp私有存儲(NetApp Private Storage,簡稱NPS)。客戶可借此完成混合云搭建,并實現數據的無縫管理。
異地多活:超越傳統災備
去年雙11,阿里巴巴在全球首創交易系統“異地雙活”,而今年有了更大的突破:在支付寶這樣高度復雜與嚴謹的金融系統中,實現1000公里以上的“異地多活”能力。
湯子楠介紹,“異地多活”已經超越了兩地三中心等傳統災備概念,可實現多地數據中心像一個數據中心一樣工作,即使某一處數據中心出現故障,雙11在線業務仍然能夠快速恢復正常運轉。
公開資料顯示,全球能夠做到異地多活技術的只有少數幾家互聯網巨頭,如Google、Facebook。但二者的搜索、社交場景對數據同步性的要求遠不如交易、支付場景苛刻。
同時,阿里巴巴正在將這一過程中積累的技術逐步開放。比如,可以在較長延時的情況下解決多點數據同步的技術,已經通過阿里云數據傳輸產品(Data Transmission)對外開放,能夠讓云用戶輕松實現遠距離、毫秒級異步數據傳輸。
OceanBase: 中國自研數據庫
今年雙11的核心交易流量,100%由金融級海量數據庫OceanBase承載。這一事件將對全球IT業的格局產生深遠影響。
OceanBase由阿里巴巴自主研發,是中國***具有自主知識產權的數據庫,也是全球***應用在金融業務的分布式關系數據庫。
OceanBase 2010年誕生,2014年支撐了10%的雙11交易流量。今年6月,網商銀行開業,底層數據庫全部采用OceanBase,是***家完全擺脫商業數據庫的金融機構。
與傳統數據庫相比,OceanBase的系統維護,不需要昂貴的共享存儲設備和高性能服務器,還能節省數據庫軟件的許可費,和常用的商業數據庫相比,成本不到其一半。同時,分布式的系統,可以更好地應對雙11這類大流量沖擊:彈性能力可保證大促之前完成一鍵擴容、大促之后實現一鍵縮容。
OceanBase目前已上線公測,計劃明年通過阿里云的公共云計算平臺對外界大規模開放。
聚石塔:商家可日處理400萬訂單
在傳統模式下,淘寶商家做促銷時要進行服務器擴容,小賣家要去電腦城買幾臺機器扛回家,大賣家則需要臨時尋找IDC資源,在應對了促銷節點之后,業務量回落,服務器又會閑置無用,造成了很大浪費。通過阿里云聚石塔,商家可隨時擴容和釋放服務器資源。
2012年開始,聚石塔以阿里云為基礎推出一整套的解決方案,為天貓、淘寶平臺上的服務商及商家服務。聚石塔部署在阿里云的遠程數據中心中,安全條件、穩定性、性能遠超過商家的辦公環境和傳統IDC,針對設備故障,斷網斷電等均有應急預案。
2014年,聚石塔處理了96%的雙11訂單,無一故障、無一漏單。2015年,通過云計算系統的優化,中間件能力的使用,服務商應用系統整體性能比之前提升62%,能支持單個商家每天400萬以上的訂單處理能力。
ODPS:數據狂歡背后的超強計算引擎
今年雙11,無線端的交易將占主導地位。如何利用阿里巴巴存儲的數百PB數據,在狹小的手機屏幕為用戶創造更智能化的購物體驗?這一切都將通過阿里云自主研發的大數據處理平臺ODPS來計算。
湯子楠表示,淘寶、天貓、支付寶、菜鳥等所有大數據處理工作,都由阿里云ODPS來完成。在剛剛結束的2015世界Sort Benchmark排序比賽中,阿里云ODPS用377秒完成了100TB的數據排序,打破了此前Apache Spark創造的1406秒紀錄,一舉創造4項世界紀錄。
此外,ODPS的實時計算系統StreamSQL,雙11當天預計日消息處理量達上萬億條。而這一能力,正在通過阿里云逐步開放出來。
dataV:實時觸摸數據世界的脈搏
在阿里巴巴每天海量的交易面前,如何精準把握由數據脈搏帶來的趨勢也成為極大的挑戰。對此,阿里巴巴研發了dataV數據可視化引擎,該引擎完全基于Web技術,可快速、低成本的部署。用于內部的商品、交易、支付、數據中心等的可視化呈現和管理,幫助實現更精準的調控。
自2013年起,雙11交易數據大屏成為對外直播狂歡節的重要窗口。2015年的雙11全球狂歡節上,這一巨型數據大屏移植到水立方,以實時動態可視圖的方式向全球用戶直播雙11的數據魅力。
目前,這一技術已計劃通過阿里云向外輸出,很快將會有標準化產品推出。
全站Https加密 保全球用戶訪問安全
為提供更安全快速的訪問體驗,阿里云今年在全球部署CDN的國家和地區增加到30多個,覆蓋除南極洲外的六大洲,可從容應對越來越多的海外用戶同時訪問。在國內,阿里云擁有近500個CDN節點,帶寬服務能力超10Tbps,實現毫秒級響應。
不僅要快,還要安全,阿里云CDN為保障此次雙11狂歡節,幫助淘寶、天貓、聚劃算等阿里電商平臺全面實現了HTTPS加密訪問,能有效防止資源被劫持,使用戶端與服務器之間收發的信息傳輸更加安全。據悉,這也是全球首家大型電商網站實現全站Https加密訪問。
湯子楠表示,阿里云目前正在全球部署云計算節點,希望阿里巴巴的計算能力不僅服務中國客戶,還能服務全世界。目前阿里云在北京、青島、杭州、深圳、中國香港以及新加坡、美國西部建有云計算機房,明年將進一步加速國際化部署,在日本、迪拜、俄羅斯、歐洲以及在美國東部繼續拓展。