聚焦技術和實踐,騰訊全面揭秘基礎設施和大數據演進之路
“開發者是推動技術發展的主力軍,數字社會向前的每一步,都離不開廣大開發者。作為數字化轉型助手,騰訊云將秉持“開源、共享、創新”的三大理念持續助力開發者的個人成長和價值創造,目前,騰訊云已經服務了數百萬開發者,給到開發者的資源扶持超過100億元。”騰訊公司副總裁、騰訊云總裁邱躍鵬在Techo開發者大會表示。
Techo是騰訊云面向全球開發者和技術愛好者發起的,專注于探討云計算前沿技術趨勢和應用實踐領域的的非商業大會,通過搭建一個純粹的技術交流和共享平臺,與數千萬開發者們共同探索、共同創造。本次大會匯集了150多位海內外技術專家和來自全球各地的數千萬位開發者和技術愛好者,全面解讀了當前云計算、大數據、人工智能、物聯網、音視頻、邊緣計算、無服務計算、云原生、安全等領域的技術態勢和落地實踐。
云計算技術未來三大重要趨勢
云計算的使命之一就是為開發者提供更高效、更便捷、更先進的開發環境和工具,讓開發者更好地解決問題,實現自己的創意、釋放創造的價值。對于未來云計算技術的演進,邱躍鵬在大會致辭時表示:云計算未來有三大趨勢,即軟硬件一體化(Cloud Native Hardware)、無服務器計算(Serverless)和智能化(Smart)。
邱躍鵬指出,隨著云計算承載的業務規模越來越大,軟件和硬件的結合成為剛需。軟硬件一體化技術會進一步發展,為開發者提供更強壯的基礎設施平臺,提升云計算的性能、提高資源利用率,最終為開發者提供穩定、更具性價比的服務。軟硬件一體化帶來的技術紅利,值得每一位開發者關注。
同時,無服務器計算,即 Serverless正在快速演進。Serverless能把開發者從繁瑣、冗雜的開發配置工作中解放出來,不需要任何的基礎設施建設、管理與運維,極大降低了開發門檻,開發者只需關注自己的業務邏輯。以騰訊云和微信聯合推出的“小程序·云開發”為例,上線一年已經服務超過50萬開發者。“小程序·云開發”讓更多開發者實現他們的小程序夢想,未來,Serverless理念會在更多開發場景中落地。
隨著硬件紅利不斷釋放、開發者越來越關注于自己的應用,數字化進程不斷加快。隨之而來的數據量不斷增長,對算力的要求越來越高,人工智能也成為開發者們必須關注和應用的技術。人工智能正在快速演進,云廠商也將會提供更多人工智能產品和能力給到開發者。
全面揭秘基礎設施和大數據技術演進全貌
作為全球互聯網公司,騰訊無論在基礎架構還是大數據AI領域的實踐,都具有代表性。這次作為騰訊云在兩大領域的技術負責人,全面披露騰訊20年在這塊的技術積累。
騰訊云副總裁、云架構平臺部總經理謝明表示:“無論是從使用通用服務器到不久前發布的“為云而生”的服務器星星海,還是從第一代數據中心中傳統的電信解決方案到如今第四代的T-block產品家族,騰訊云在基礎設施領域已經走出了一條自主創新之路,而隨著云計算基礎設施的不斷進化,這些經過微信、QQ等海量業務充分驗證過的基礎能力,正在通過騰訊云共享給更多開發者,助力產業互聯網發展。
以星星海服務器來說,在設計過程中,充分結合數據中心實際部署環境要求,針對云端的計算、存儲,網絡等場景做了重點優化,能夠有效滿足騰訊云98%應用場景需求。同時,深度定制的CPU,能夠實現行業最優單核性能和最優單核TCO;根據測試,星星海可以實現云服務實例綜合性能提升35%以上,最大負載能效對比業界可提高50%。
在數據中心方面,第四代數據中心T-block讓用戶能夠以搭積木的方式,快速實現全數據中心的模塊化配置及建設,相比于傳統大規模數據中心,T-block可以顯著減少建設周期和施工成本。同時,由于率先在行業內采用更高效率的制冷和供配電架構,系統能源使用效率得到有效提升。以一個擁有30萬臺服務器的園區為例,一年可節省2.5億度電,真正實現綠色數據中心的理念。
類似的自主創新,還體現在計算、存儲、數據庫等領域。
除了基礎設施,大數據在支撐云計算應用上也起著至關重要的作用,騰訊云副總裁蔣杰,數據平臺部總經理蔣杰表示:“經過10年的積累,騰訊大數據平臺的算力資源池目前已有超過20萬臺的規模,每天實時數據計算量超過30萬億條,騰訊已經成為中國實時數據計算量較大的公司”。
做到如此龐大的規模,并非一朝一夕之功,從以Hadoop為核心的離線計算時代到以Spark、Storm、Flink為核心的實時計算時代,再到如今的機器學習和深度學習時代,騰訊從無到有研發了分布式的機器學習引擎Angel,以及一站式AI開發平臺智能鈦TI。目前,騰訊正在研究以批流融合、ABC融合、以及數據湖和聯邦學習為方向的下一代大數據平臺,該平臺將具備混合部署、跨域數據共享和邊緣計算等能力。
針對目前技術迭代不斷加速,企業建設大數據平臺和機器學習平臺,成本高昂,缺乏專業人才等問題,騰訊已經把網絡、存儲、數據庫等IaaS能力,大數據、機器學習等PaaS的能力,以及上層的圖像、語音、NLP、BI等SaaS能力,通過騰訊云對外開放。在大數據和AI兩個領域,騰訊推出了以TBDS和智能鈦TI為首的雙引擎,讓每個企業和開發者便捷用上領先的大數據和AI的能力。
開源、共享、創新,三大理念全面支持開發者發展
開發者是騰訊產業互聯網的直接建設者,更是推動社會技術發展的重要力量。騰訊云在開發者生態的構建上,秉持開源、分享、創新三大理念,積極擁抱和推動開源,鼓勵開發者互相分享、交流,與開發者一起創新。
目前,騰訊共開源了86個項目,覆蓋云計算、大數據、AI、安全、小程序等領域,參與貢獻的人數超過1000 名,累計在GitHub獲得了超過 25萬個 Star。
尤其是大數據領域,從2014開始,騰訊將第一代大數據平臺的核心,騰訊版的Hive進行了開源,2017年,更是把第三代平臺的核心Angel開源。今年,騰訊繼續加快了開源的腳步, 2個月前,在ApacheCon 2019上,騰訊面向全球開發者正式宣布開源自身核心平臺——實時數據采集平臺TubeMQ,并捐獻給Apache社區。此次在Techo大會現場,再次重磅宣布正式開源資源管理平臺核心TKE和分布式數據庫TBase,隨著在大數據開源領域的開源逐步加速,騰訊正在成為中國大數據領域開源最全面的廠商。
在外部開源生態上,騰訊還積極支持Linux基金會、Apache基金會、CNCF基金會和OpenStack等多個國際知名的開源社區,成為中國全面支持四大頂級開源基金會的白金贊助商。并通過不斷贊助、捐獻項目、為開源項目貢獻代碼、解決問題等各種形式,積極的參與開源社區生態建設。
此外,騰訊云除了開源和Techo開發者大會這樣的交流方式之外,還通過線上開發者社區、騰訊云開發者專享扶持活動等構建面向全球開發者的技術對接平臺,不斷提升騰訊云的整體技術水平和服務能力。未來,騰訊云將以更開放的心態擁抱和回饋社區,為更多的開發者帶去便捷、高效的開發體驗。