【51CTO.com原創(chuàng)稿件】作為最重要的基礎技術之一，騰訊云大數(shù)據(jù)技術有效地支撐著騰訊內(nèi)部所有業(yè)務，并為各行業(yè)的數(shù)字化提供基礎服務。從最初解決計算的問題，到解決時效性的問題，再到提升平臺擁有的數(shù)據(jù)價值，到現(xiàn)在的平臺體系智能化演進，可以說是一個從粗狂到精細化耕耘的過程。

早些時候，騰訊主要使用傳統(tǒng)的關系型數(shù)據(jù)庫。2009年開始，傳統(tǒng)的單機數(shù)據(jù)庫所提供的服務，在系統(tǒng)可擴展性、性價比方面已不再適合騰訊業(yè)務爆發(fā)式的增長。面對這種變化，騰訊大數(shù)據(jù)轉向分布式，基于開源的Hadoop體系，構建了騰訊云第一代大數(shù)據(jù)平臺，并建設離線計算平臺，主要發(fā)力規(guī)模化。騰訊云大數(shù)據(jù)由此進入第一階段。三年中，騰訊實現(xiàn)了從關系型數(shù)據(jù)庫到自建大數(shù)據(jù)平臺的全面遷移，到2012年，騰訊云大數(shù)據(jù)的單集群規(guī)模突破了4400臺。

2012年，移動互聯(lián)網(wǎng)爆發(fā)，為了應對業(yè)務數(shù)據(jù)統(tǒng)計及時性、快速性的需求，騰訊云大數(shù)據(jù)從Hadoop轉向Spark和Storm體系，在吸收開源技術的基礎上，結合騰訊自身的需求，探索流式計算、秒級采集系統(tǒng)的建設，構建企業(yè)級的實時數(shù)據(jù)分析體系，騰訊云大數(shù)據(jù)發(fā)展進入第二階段，用Java重寫了Storm，同時配套自研了TubeMQ。

2015年2018，騰訊云大數(shù)據(jù)邁入了第三階段。隨著數(shù)據(jù)挖掘、數(shù)據(jù)應用的深入，騰訊云大數(shù)據(jù)再次自我迭代，于2016年推出了自研機器學習平臺Angel，專攻復雜計算場景，可以進行大規(guī)模的數(shù)據(jù)訓練，支撐內(nèi)容推薦、廣告推薦等AI應用場景。Angel由騰訊與北京大學聯(lián)合研發(fā)，兼顧了工業(yè)界的高可用性和學術界的創(chuàng)新性，不僅支撐騰訊自身業(yè)務需求，在行業(yè)上也具有里程碑意義。

2019年開始，業(yè)界已經(jīng)開始嘗試人工智能輔助大數(shù)據(jù)運營，但是不夠體系化，騰訊云大數(shù)據(jù)的第四階段把此作為了重點，讓大數(shù)據(jù)與AI框架融合互惠，讓大數(shù)據(jù)裝上AI大腦，既能夠解決數(shù)據(jù)的問題，又能夠反哺整個平臺更好的智能化、體系化運營，輔助騰訊內(nèi)部包括問題的診斷、分析、優(yōu)化、成本的降低。

三層產(chǎn)品矩陣：基礎設施、產(chǎn)品開發(fā)、應用服務

說完騰訊云大數(shù)據(jù)的發(fā)展歷史，再來說說騰訊云大數(shù)據(jù)的產(chǎn)品矩陣。首先最底層是基礎的存儲計算設施，如EMR、神盾聯(lián)邦計算等。這一層除了提供基礎設施之外，還能夠幫助企業(yè)運維工程師快速構建一個性能比較卓越并且成本很低廉、更安全的算力。

向上的一層是產(chǎn)品開發(fā)層，強調(diào)的是開箱即用，可以用一個平臺搞定某一個業(yè)務場景開發(fā)的所有內(nèi)容，可以讓企業(yè)的開發(fā)人員更多地關注業(yè)務，而不用太多考慮平臺本身。
最上面的應用層，則會提供各種各樣的接近業(yè)務的SaaS化的產(chǎn)品，如營銷的能力、增長的能力，BI的能力，風控的能力等。

總結起來，騰訊云大數(shù)據(jù)的產(chǎn)品矩陣分為三層：基礎設施、產(chǎn)品開發(fā)、應用服務。

今年，騰訊云大數(shù)據(jù)的研發(fā)重心在哪里？發(fā)布了哪些重要產(chǎn)品？騰訊云大數(shù)據(jù)平臺最新數(shù)據(jù)是怎樣的？這些問題都在剛剛召開的騰訊全球數(shù)字生態(tài)大會2020上給出了答案。

全鏈路數(shù)據(jù)開發(fā)平臺WeData

騰訊云副總裁劉煜宏透露，騰訊云大數(shù)據(jù)平臺的算力彈性資源池達500萬核，每日分析任務數(shù)達1500萬，每日實時計算次數(shù)超過40萬億，能支持超過一萬億維度的數(shù)據(jù)訓練。騰訊云不僅已經(jīng)成為國內(nèi)算力最強的云廠商，同時也是日實時計算量最大的公司。

[[341821]]

騰訊云副總裁劉煜宏

據(jù)騰訊云大數(shù)據(jù)產(chǎn)品副總經(jīng)理雷小平介紹，今年騰訊云大數(shù)據(jù)的研發(fā)重點在場景開發(fā)層，并在會上重磅發(fā)布了全鏈路數(shù)據(jù)開發(fā)平臺WeData。

[[341822]]

騰訊云大數(shù)據(jù)產(chǎn)品副總經(jīng)理雷小平

WeData提供了涵蓋數(shù)據(jù)即席分析、數(shù)據(jù)任務可視化編排、運維等在內(nèi)的全鏈路數(shù)據(jù)開發(fā)能力。借助于WeData，企業(yè)數(shù)據(jù)開發(fā)門檻可有效降低60%。同時，WeData在云端構建了統(tǒng)一的元數(shù)據(jù)管理能力，涵蓋技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)的管理，并打通了EMR、CDW數(shù)倉、MySQL甚至對象存儲等在內(nèi)元數(shù)據(jù)，以便于企業(yè)數(shù)據(jù)在不同云端數(shù)據(jù)設施之間進行無縫流轉的同時，還能保障其元數(shù)據(jù)的一致性和可維護性。另外，WeData還為數(shù)據(jù)科學家提供了全面的資產(chǎn)管理、數(shù)據(jù)治理能力，全面提升數(shù)據(jù)價值發(fā)現(xiàn)的效率。

在應用層面，QQ音樂基于WeData產(chǎn)品進行了大數(shù)據(jù)能力的重構。在重構之前，所有的數(shù)據(jù)分析能力都是基于Spark構建，所有報表的延時也都是小時級。在將熱數(shù)據(jù)全部升級到Clickhouse，并通過WeData進行數(shù)據(jù)開發(fā)工作,重構完成之后數(shù)據(jù)決策能力從小時級別提升到秒級。

由此可見，WeData打通了通用大數(shù)據(jù)開發(fā)和數(shù)據(jù)治理中涉及到的所有環(huán)節(jié)，實現(xiàn)了全鏈路覆蓋，讓用戶可以將精力更多地投入在業(yè)務增長。

除了全鏈路數(shù)據(jù)開發(fā)平臺WeData之外，在更細分的場景上，騰訊云大數(shù)據(jù)推出流計算服務Oceanus、云數(shù)據(jù)倉庫CDW、ES、彈性MapReduce、神盾聯(lián)邦計算以及企業(yè)畫像等6項重磅能力發(fā)布和升級，旨在覆蓋大數(shù)據(jù)的全生命周期，滿足企業(yè)數(shù)字化轉型中的新需求：統(tǒng)一平臺、異構算力、企業(yè)級安全。

做好安全、智能和統(tǒng)一，實現(xiàn)AB融合

人工智能與大數(shù)據(jù)融合（AB融合）已經(jīng)成為未來信息技術發(fā)展的一個趨勢，并將成為新一輪數(shù)字經(jīng)濟的核心驅動力。在騰訊云大數(shù)據(jù)基礎平臺總經(jīng)理陳鵬看來，目前是B幫助了A，而A并沒有幫助到B。所以，B如何有效輔助A，A與B如何在架構上進行融合，將是下一代計算平臺的發(fā)展方向，即安全、智能和統(tǒng)一。

首先在安全方面，雖然大數(shù)據(jù)本身采用集群是要解決孤島的問題，但是目前解決的只是將分散部分的數(shù)據(jù)聚集在一起的問題，并沒有解決在歐洲GDPR及其他一些政策法規(guī)導致的，數(shù)據(jù)分散在不同團隊，不同職能部門，數(shù)據(jù)庫又不相通的問題。所以安全是一個重點，騰訊云分別在A和B上實現(xiàn)了計算過程的安全，目前正在研發(fā)聯(lián)合計算平臺，實現(xiàn)在保護數(shù)據(jù)隱私的同時，提供聯(lián)合數(shù)據(jù)分析、聯(lián)合數(shù)據(jù)建模等能力，實現(xiàn)數(shù)據(jù)的互融互通，釋放數(shù)據(jù)價值。

第二是智能，即如何讓A幫助B。AI并沒有能夠體系化的去輔助大數(shù)據(jù)做更多的運營，這是在AB融合過程最為重要的一個方面。目前的集群規(guī)模已經(jīng)達到十萬臺，且每年都在按照40-60%的規(guī)模發(fā)展，然而如此大規(guī)模的集群多半還是人工輔助工具去解決運營工作，騰訊希望后續(xù)能夠將線上運行的數(shù)據(jù)回流反饋，基于機器學習獲得智能化的決策，基于這些決策及指標數(shù)據(jù)，優(yōu)化調(diào)度性能、驅動硬件的定制。

第三，統(tǒng)一。包括框架的統(tǒng)一、AB技術融合統(tǒng)一等。

從框架統(tǒng)一來說，大數(shù)據(jù)的技術棧目前發(fā)展得已經(jīng)非常復雜了，僅在計算方面，就有Spark、Hadoop等，如何保證企業(yè)本身不會被業(yè)界復雜的、頻出的系統(tǒng)，影響到整體架構的延伸，是框架統(tǒng)一要解決的問題，騰訊大數(shù)據(jù)體系就非常適合解決這樣的問題。

在AB技術融合統(tǒng)一方面，AB底層算子和分布式運行有著很強的相似性，如大數(shù)據(jù)的join、aggregator、sort和AI的grad、dot、softmax等，可以通過運行的機制做一些融合；在計算引擎方面，通過統(tǒng)一批、流、圖三種計算形態(tài)，涵蓋DAG、PS、MPI多種shuffle模式，基于成本的優(yōu)化，統(tǒng)一執(zhí)行計劃優(yōu)化，還有基于編譯技術軟硬件集合，通過代碼生成適配異構硬件，計算型算子下推到GPU、FPGA等， 所以從這些角度來說，AB的融合是一個體系化的融合，而不是一個單點的融合，這種趨勢最終能給用戶帶來一站式的數(shù)據(jù)處理體驗。

企業(yè)數(shù)字化轉型正在高速演進中，騰訊云大數(shù)據(jù)將繼續(xù)發(fā)揮統(tǒng)一平臺、異構算力、企業(yè)級安全方面的優(yōu)勢，提供從基礎設施、場景開發(fā)、應用服務的全場景、全托管能力，助力企業(yè)客戶降本增效、優(yōu)化用戶服務，讓大數(shù)據(jù)為數(shù)字經(jīng)濟發(fā)展釋放更多新動能！

【51CTO原創(chuàng)稿件，合作站點轉載請注明原文作者和出處為51CTO.com】