騰訊云:大數據如何助力業務“心中有數“?
9月28日,由人民郵電出版社主辦,《大數據》雜志、數創匯承辦的中國國際大數據大會在北京召開,現場嘉賓們圍繞大數據政策、標準、市場、技術、產品、應用、安全、交易等大數據產業熱點,進行了精彩碰撞。騰訊云數據產品副總經理劉煜宏現場也為大家分享了騰訊云大數據產品數智方略如何幫助企業決策者做到“心中有數”。
騰訊云數據產品副總經理劉煜宏現場精彩分享
對于數據而言,規模就代表著能力
在劉煜宏看來,數據不僅是連接器,可以連接所有的人和應用,數據更是一種資產,而騰訊經過QQ、微信、QQ空間、騰訊視頻、騰訊瀏覽器等海量業務的錘煉,在服務億萬用戶的過程中,積累了豐富的數據分析和數據處理經驗。“每天有數以億計的用戶使用我們的社交、游戲、文學、娛樂、視頻、聽歌等等產品,這些用戶每天貢獻幾萬億條數據。我們通過對這么龐大數據不斷的挖掘分析,然后去找到用戶的需求,找到我們的問題,去改進我們的產品。”
騰訊云數智方略整個平臺集群規模超過2萬臺,存儲的數據量超過280PB,每天數據處理量超過20P,每天作業數200多萬,我們每天在平臺上面啟動的容器數超過1.5億,每天采集的數據達到6.2萬億條,平均每秒7000多萬條,高峰的時候甚至每秒好幾億條。
基于以上十幾年的數據分析積累,從2009年我們***個內部Hadoop大數據集群上線以來,騰訊大數據分別經歷了離線計算、實時計算階段,如今我們進入機器學習階段。
數智方略,大數據處理速度比傳統Hadoop提升780倍
劉煜宏介紹道,騰訊云的數智方略是一站式、全流程的大數據服務平臺,包含3層46個產品組件,產品組件數量還在不斷的豐富中。
其中數智基于騰訊多年海量數據處理經驗,結合開源Hadoop生態和自研組件服務,為客戶提供了從采集、存儲、計算、挖掘到可視化的一站式數據處理服務,其中更囊括了騰訊自研的機器學習引擎。用戶可以按需部署大數據處理服務以實現企業的業務需求,例如:數據提取、處理分析、報表展示、客戶畫像、機器學習等大數據應用,以提高企業在大數據背景下的核心競爭力。
劉煜宏重點介紹了數智平臺的高性能并行計算模塊,“它是分布式機器學習的框架,我們給它起了一個很好聽的名字叫天使,這是我們跟北京大學、香港科技大學三方聯合研發的一個系統,2015年投入使用,它可以支持10億級數據的訓練,它在我們內部已經支持了很多的業務,比如騰訊視頻、廣點通、微信等。”
數智基礎平臺雖然來源于社區,但是騰訊云對產品做了深度改造,尤其是數據安全方面,不僅構建了開放的API,也在今年首批通過大數據產品基礎能力認證,9月初騰訊云再次通過了大數據產品的性能認證。
方略提供開放通用的數據應用及分析服務,包含了用戶洞察分析、區域人流分析、云搜、文智自然語言處理、機智機器學習、開放通用推薦等。
用戶洞察分析,可以結合企業已有用戶群體,通過數據挖掘和關系鏈的分析,幫助找到***甚至上億的潛在用戶群體。
區域人流分析,可以實時了解區域人流動態,精準評估擁擠等級。
輿情分析可以通過社交熱詞、人群畫像等,幫助企業的商業決策有的放矢。
優圖人臉識別的底層能力是圖像識別技術,我們積累了非常龐大的人臉模型數據庫,準確率可以達到99.65%。
數智方略還針對游戲和移動行業提供了idata游戲大數據平臺、移動分析、移動運營、移動PUSH等大數據服務。
劉煜宏現場展現了騰訊云數智方略和傳統Hadoop的數據處理處理對比,結果顯示,對于10億用戶畫像數據分析,數智平臺大數據處理速度比傳統Hadoop提升780倍。在對微信每天160億級別的多維分析場景中,數智能夠做到6秒返回結果。
在案例分享環節,劉煜宏介紹了與上海同濟城市規劃設計院合作開發的針對上海迪士尼周邊區域的效益分析應用,通過區域人流分析和用戶畫像了解區域盈利能力。在騰訊與廣東省旅游局共同打造的“旅游+互聯網”服務云項目中,騰訊云大數據解決方案可以幫助分析匯總節假日廣東省旅游熱點地區,包括旅游資源配套資源供給、出行方式、社交輿情等,為優化旅游資源使用,提升游客體驗提供輔助決策。
“榕樹計劃”:與合作伙伴共建云上大數據生態
為了與大數據產業鏈各方合作伙伴構建大數據生態,騰訊云數智方略推出了“榕樹計劃”,針對旅游、公共安全、城市規劃、生命科學、金融五大重點行業,優先選擇50家大數據行業合作伙伴,聯合發布行業解決方案,并提供市場、銷售、培訓、產品技術的相應支持。同時將重點扶植100家大數據行業客戶,提供一對一專屬大數據架構師支持服務及30分鐘快速響應的技術支持綠色通道。