騰訊云拿下計算奧運冠軍,中國云走向世界
去年在寫《中國云力量》這本書的時候,其實有很多備選的書名,那么為什么***選了這個名字呢?因為,這其中也有一層對中國云崛起的期待,云計算最早是SUN公司提出來了,之后被AWS發揚光大,過去中國的云計算距離***的云一直存在差距。
田溯寧在為《中國云力量》所做的序言中提到,“云計算的變革核心不僅僅是商業模式和公司經營的變革,更是整個人類社會的變革。”那么,在這場相當于工業革命一樣的變革當中,中國的云計算公司能夠表現出何種價值?
我們知道,云計算是一個技術驅動的行業,只有在技術的舞臺上,持續的站在***,才能說中國的云計算真正到了走向世界的一天。
還記得2014年的Sort Benchmark,中國的百度***在這項計算界的奧運會上奪取其中兩個項目的冠軍,而去年,阿里云則在四個項目中打破全部4項世界紀錄。
今年的Sort Benchmark,來自中國的騰訊云,則再次刷新了這四項世界紀錄,展現了中國云計算的技術能力。從這個角度看中國的云計算在技術上的沉淀開始釋放光芒,中國的云計算力量也在覺醒中,做好了***世界的準備。
計算賽事的***殿堂
首先要強調的是Sort Benchmark。這是一個專門從事排序基準評估的非盈利機構,該機構每年都會舉辦一次排序基準評估比賽,很多公司和學術機構都會帶著他們***的研究成果來參加這個比賽,以評估他們的研究成果。
在2007之前,該機構的排序基準評估比賽的主辦和管理主要都是由Jim Gray負責主辦和管理的排序基準評估比賽。這位1998年圖靈獎的獲得者,***傳奇色彩,他于2007年1月28日早上獨自乘船離開San Francisco Bay,去一個叫Farallon小島灑他母親的骨灰,不幸在外海失蹤。
傳奇的人已離我們遠去,而傳奇的賽事卻每年都在煥發新的青春色彩。每年一度的Sort Benchmark,都被譽為計算界的奧運會。云計算領域大名鼎鼎的AWS就曾在該項比賽中奪取過多項冠軍。還有大數據領域著名的Hadoop和Apache Spark都是過去幾年這項比賽中的冠軍得主。可以說,Sort Benchmark就是今天計算賽事的***殿堂。
據了解,這項賽事包括四項比賽,今年的騰訊云大數據聯合團隊參加的是含金量***的GraySort和MinuteSort兩項排序競賽,重點評測大規模分布式系統的軟硬件架構能力及平臺的計算效率,以上兩項比賽均包括Indy(專用目的排序)和Daytona(通用目的排序)兩個子項。騰訊云奪得上述四個子項的冠軍,總體將去年的紀錄提高2倍到5倍。
在我看來,Sort Benchmark是通過排序競賽考量一家公司或機構大規模計算能力的綜合實力,不僅全面評測分布式系統軟件架構能力,比如海量數據分布式存儲、計算任務切片調度、節點通信協調同步、數據計算監控容災等性能,也評測了硬件架構能力,比如服務器硬件選配、網絡架構調優、IDC規劃建設能力等。所以,這項比賽中的勝出,也等于在側面驗證了騰訊云在云計算和大數據上的整體技術能力。
騰訊云做到了哪些新突破?
毫無疑問,本屆Sort Benchmark的***贏家是騰訊云的大數據聯合團隊。這是由騰訊云存儲產品中心、騰訊數據平臺部組成的比賽團隊,在大數據技術和應用管理上有非常豐富的實踐經驗。
首先,從Sort Benchmark官網顯示的數據上看,在這次競賽中,騰訊云數智分布式計算平臺,奪得Sort Benchmark大賽GraySort和MinuteSort的冠軍,總共創造四項世界紀錄,將去年冠軍阿里云的紀錄整體提高2倍到5倍。
那么,GraySort和MinuteSort兩項比賽的冠軍到底意味著什么?
***,GraySort比拼的是完成100TB的數據排序的耗時,主要評測的是系統對大規模數據的處理能力。騰訊云用時98.8秒完成100TB的數據排序,即每分鐘完成60.7TB的數據排序,去年阿里云的紀錄為18.2TB/分鐘。
第二,MinuteSort競賽,比拼的是1分鐘內的排序數量,主要評測的是系統的效率。騰訊云的成績為1分鐘完成55TB的排序,去年阿里云的紀錄是11TB,騰訊云將這一數據量提升5倍。
通過比較Sort Benchmark官網公布的數據可見,騰訊云的單機性能比去年強大許多,但整體集群的配備和阿里云的配備差異不大。但是如果是對運營成本了解的業內人士可以計算出,騰訊云512臺機器的整體TCO成本比去年的3377臺機器低;同時從比較直觀的指標如內存、網絡、順序讀寫IO等整體看與去年的差異不大。今年排序比賽成績的提升是實實在在的,并非由硬件堆砌出來。
其次,今年的比賽其實不完全是一成不變的競賽。因為比賽要求的提交時間,突然宣布提前了一個月,這應該是很多參賽團隊沒預料到的。但這也恰恰突出了各團隊在技術積累的重要性。
那么從技術積累的角度,騰訊在大數據技術的探索上可以說一直走在業界前列。我們知道,騰訊的用戶和產品數量都比較多,數據量巨大,數據分析的復雜度高,對底層技術平臺的要求自然很高。以春晚搖一搖發紅包為例,其***的并發請求量是搶火車票的一百多倍,要處理的問題不僅是海量并發請求,還有資源推送、紅包收發和金融級的安全防護等等,這些都考驗著騰訊對于大數據處理能力的技術沉淀。所以,面對Sort Benchmark突發性的需求,騰訊云才能做到了不慌不忙。
據悉,為了參加本次競賽,騰訊云數智從現網調配了512臺用于實時計算服務的服務器,在網絡方面采用了邁絡思的100Gb網絡技術,騰訊云大數據服務的實時計算平臺能提供單集群上千臺規模實時流式計算,在數據存儲方面,支持多重數據備份,萬億數據的存儲能力。在任務調度方面,支持***任務的毫秒級的調用。而且支持故障節點自動發現,自動剔除,業務的自動遷移,關鍵節點的主從熱備,故障的秒級切換。
從“三連冠”看中國云崛起
從以上分析可見,騰訊云能以較大優勢斬獲Sort Benchmark競賽四個項目的冠軍,絕非偶然。再聯系去年阿里云和前一年百度的表現,我們可以判斷,中國云計算已經在技術能力上不輸于***云計算公司。連續的“三連冠”足以驗證中國云的集體性崛起。
這背后的內因是互聯網公司們通過自身業務的擴展,在多個不同的應用場景上的創新,讓支撐業務的云計算技術得到了極大程度的升級。可以說這是中國在互聯網時代,換來的***的財富。
我認為中國云的崛起將有兩個較大的意義。
***,云計算是分享經濟的基礎,是互聯網商業模式的基石。有了騰訊和阿里等公司以自身業務作為試煉場,才有了今天騰訊云和阿里云技術的成熟的發展。而這些技術未來都會開放給中國的創業者,中國的企業。
以Sort Benchmark上大放異彩的騰訊云數智平臺為例,它是一套一站式的大數據處理平臺,使用數智可讓技術團隊可以專注于代碼層的開發,而無需關注集群和組件的性能和穩定性,極大的降低了大數據的使用門檻。在數智平臺上提供了業界最豐富的數據開發套件,用戶可以一站式的完成從數據清洗、數據建模與分析、可視化呈現、數據治理等一系列操作,支持實時流式數據、離線數據的導入與導出。
而騰訊云數智的開放,則能夠讓社會各界享有與騰訊同級的大數據處理能力。對于企業而言,可以在大幅降低人力成本、快速將大數據平臺落地的同時,享有高穩定、高性能、高安全的大數據平臺。對于開發者而言,無需將時間精力投入到集群的搭建、改進社區版本穩定性等問題上,從而全力投入進業務層與代碼層中。換句話說,騰訊云Sort Benchmark上實現的速度與效率,未來企業都可以借助騰訊云來獲取到。
第二,云計算技術是創新的溫床,它讓計算的成本不斷的降低。有了騰訊云和阿里云不輸于***云計算的技術能力,讓云計算真正成為中國創新的驅動力,進一步讓互聯網+、工業制造4.0更快的成為現實。
仍然以騰訊云為例,騰訊云已經對外開放了一系列AI產品,如萬象優圖、人臉識別、語音識別、智能客服等服務。比如微眾銀行已經將優圖的人臉識別技術運用到開戶流程中,在保證安全性的前提下,極大的提升了開戶效率并顯著降低成本。可見,企業和開發者可以有效的借助騰訊云開放的騰訊大數據和AI能力,來快速分析其存儲的非結構化數據,實現業務的創新。
總體而言,云計算代表了底層創新技術的驅動力。一個國家在云計算上的技術沉淀換來的覺醒,會促使社會全面創新的啟動,和產業流程的優化。百度、阿里云和騰訊云,三年之間將Sort Benchmark的紀錄每年都進行了一次大幅度的提升,也意味著中國云力量的崛起已成定局。