大數(shù)據(jù)技術(shù)在過(guò)去10多年中極大改變了企業(yè)對(duì)數(shù)據(jù)的存儲(chǔ)、處理和分析方式。如今，大數(shù)據(jù)技術(shù)逐漸成熟，涵蓋了計(jì)算、存儲(chǔ)、數(shù)倉(cāng)、數(shù)據(jù)集成、可視化、NOSQL、OLAP分析、機(jī)器學(xué)習(xí)等豐富領(lǐng)域。在未來(lái)，大數(shù)據(jù)技術(shù)還會(huì)往引擎容器化、大數(shù)據(jù)機(jī)器學(xué)習(xí)、數(shù)據(jù)湖等方面不斷延伸。

近日，騰訊大數(shù)據(jù)技術(shù)沙龍首站——Angel專(zhuān)場(chǎng)在深圳舉辦，騰訊大數(shù)據(jù)團(tuán)隊(duì)詳細(xì)披露了騰訊大數(shù)據(jù)十年發(fā)展歷程，并全面展示了騰訊第三代全棧機(jī)器學(xué)習(xí)平臺(tái)Angel在大模型數(shù)據(jù)訓(xùn)練、深度學(xué)習(xí)、圖計(jì)算等方面的技術(shù)能力，也深入分享了在微信支付、效果廣告、微眾銀行等場(chǎng)景上的應(yīng)用案例。

會(huì)上，騰訊大數(shù)據(jù)負(fù)責(zé)人劉煜宏正式發(fā)布了“星火計(jì)劃”，他表示：“在騰訊大數(shù)據(jù)十年的發(fā)展歷程中, 我們不斷追求技術(shù)創(chuàng)新, 集群數(shù)從30臺(tái)到突破35000臺(tái)。2016年，我們打破了計(jì)算奧運(yùn)會(huì)之稱(chēng)的Sort Benchmark 4項(xiàng)世界紀(jì)錄，性能全球領(lǐng)先。騰訊大數(shù)據(jù)的發(fā)展從開(kāi)源中受益，秉承著開(kāi)放共享的精神, 今天我們也推出技術(shù)共享的‘星火計(jì)劃’，希望能夠助力和反哺大數(shù)據(jù)生態(tài)繁榮。”

[[279730]]

騰訊大數(shù)據(jù)發(fā)展“三部曲”

作為大數(shù)據(jù)領(lǐng)域的前沿探索者，騰訊大數(shù)據(jù)從2009年開(kāi)始, 經(jīng)歷離線計(jì)算、實(shí)時(shí)計(jì)算與機(jī)器學(xué)習(xí)三個(gè)階段，在實(shí)踐中積累了大量的經(jīng)驗(yàn)。

據(jù)劉煜宏介紹，2009年之前，騰訊主要使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)。2009年開(kāi)始，傳統(tǒng)的單機(jī)數(shù)據(jù)庫(kù)所提供的服務(wù)，在系統(tǒng)可擴(kuò)展性、性?xún)r(jià)比方面已不再適用騰訊業(yè)務(wù)爆發(fā)式的增長(zhǎng)。面對(duì)這種變化，騰訊大數(shù)據(jù)轉(zhuǎn)向分布式，基于開(kāi)源的Hadoop體系，構(gòu)建了騰訊第一代大數(shù)據(jù)平臺(tái)，并建設(shè)離線計(jì)算平臺(tái)，主要發(fā)力規(guī)模化。騰訊大數(shù)據(jù)由此進(jìn)入第一階段。三年里，騰訊實(shí)現(xiàn)了從關(guān)系型數(shù)據(jù)庫(kù)到自建大數(shù)據(jù)平臺(tái)的全面遷移，到2012年，騰訊大數(shù)據(jù)的單集群規(guī)模突破了4400臺(tái)。

2012年，移動(dòng)互聯(lián)網(wǎng)爆發(fā)，應(yīng)對(duì)業(yè)務(wù)數(shù)據(jù)統(tǒng)計(jì)及時(shí)性、快速性的需求，騰訊大數(shù)據(jù)從Hadoop轉(zhuǎn)向Spark和Storm體系，在吸收開(kāi)源技術(shù)的基礎(chǔ)上，結(jié)合騰訊自身的需求進(jìn)行重寫(xiě)，探索流式計(jì)算、秒級(jí)采集系統(tǒng)的建設(shè)，構(gòu)建企業(yè)級(jí)的實(shí)時(shí)數(shù)據(jù)分析體系，騰訊大數(shù)據(jù)發(fā)展進(jìn)入第二階段。

2015年至今，騰訊大數(shù)據(jù)邁入了第三階段。隨著數(shù)據(jù)挖掘、數(shù)據(jù)應(yīng)用的深入，騰訊大數(shù)據(jù)再次自我迭代，于2016年推出了自研機(jī)器學(xué)習(xí)平臺(tái)Angel，專(zhuān)攻復(fù)雜計(jì)算場(chǎng)景，可進(jìn)行大規(guī)模的數(shù)據(jù)訓(xùn)練，支撐內(nèi)容推薦、廣告推薦等AI應(yīng)用場(chǎng)景。它由騰訊與北京大學(xué)聯(lián)合研發(fā)，兼顧了工業(yè)界的高可用性和學(xué)術(shù)界的創(chuàng)新性。不僅支撐騰訊自身業(yè)務(wù)需求，在行業(yè)上也具有里程碑意義。

從海量業(yè)務(wù)中來(lái)，專(zhuān)注圖計(jì)算場(chǎng)景

作為面向機(jī)器學(xué)習(xí)的第三代高性能計(jì)算平臺(tái)，騰訊Angel在稀疏數(shù)據(jù)高維模型的訓(xùn)練上具有獨(dú)特優(yōu)勢(shì)，擅長(zhǎng)推薦模型和圖網(wǎng)絡(luò)模型相關(guān)領(lǐng)域。當(dāng)前業(yè)界主流的大規(guī)模圖計(jì)算系統(tǒng)主要有Facebook的Big Graph、Power graph、Data bricks的 Spark GraphX等，但這些系統(tǒng)并不都支持圖挖掘、圖表示學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)的三大類(lèi)型算法。

據(jù)騰訊Angel開(kāi)發(fā)負(fù)責(zé)人肖品介紹，騰訊Angel從騰訊海量業(yè)務(wù)場(chǎng)景中而來(lái)，是超大樣本和超高維度的機(jī)器學(xué)習(xí)平臺(tái)。從性能上來(lái)看，Angel優(yōu)于現(xiàn)有圖計(jì)算系統(tǒng)，能夠支持十億級(jí)節(jié)點(diǎn)、千億級(jí)邊的傳統(tǒng)圖挖掘算法，百億邊的圖神經(jīng)網(wǎng)絡(luò)算法需求。它可運(yùn)行于多任務(wù)集群以及公有云環(huán)境，具備高效容錯(cuò)恢復(fù)機(jī)制，也更容易支持新算法，同時(shí)，Angel能夠較好支持圖挖掘、圖表示、圖神經(jīng)網(wǎng)絡(luò)算法，具備圖學(xué)習(xí)的能力。

如今，Angel已在QQ、微信支付、騰訊廣告、騰訊視頻等騰訊旗下產(chǎn)品中廣泛應(yīng)用，并向微眾銀行等行業(yè)合作伙伴全面開(kāi)放，普遍適用于智能推薦、金融風(fēng)險(xiǎn)評(píng)估等圖計(jì)算業(yè)務(wù)場(chǎng)景。

到開(kāi)源中去，積極貢獻(xiàn)社區(qū)

發(fā)布僅一年時(shí)間，2017年，騰訊Angel就正式開(kāi)源。2018年8月，騰訊將Angel捐贈(zèng)給Linux旗下專(zhuān)注人工智能的LF AI基金會(huì)，結(jié)合基金會(huì)成熟的運(yùn)營(yíng)，全面升級(jí)的 Angel與國(guó)際開(kāi)源社區(qū)深入互動(dòng)，致力于讓機(jī)器學(xué)習(xí)技術(shù)更易于上手研究及應(yīng)用。

“Angel在2018年加入LF AI基金會(huì)進(jìn)行孵化后，一直按照開(kāi)源社區(qū)的模式進(jìn)行運(yùn)營(yíng)，增長(zhǎng)速度非常快，增加了特征工程、自動(dòng)機(jī)器學(xué)習(xí)等很多新的功能，在Github上增加了超過(guò)2000個(gè)Star。” Linux Foundation APAC大中華區(qū)總監(jiān)楊軒表示： “Angel是LF AI基金會(huì)下最活躍的項(xiàng)目之一，相信不久的將來(lái)，Angel將進(jìn)入LF AI的頂級(jí)項(xiàng)目之列。”

目前，Angel在GitHub上Star數(shù)已超過(guò)5300，F(xiàn)ork數(shù)超過(guò)1300，總共有39位代碼貢獻(xiàn)者，提交了超過(guò)2336個(gè)commit。

面向未來(lái)，大數(shù)據(jù)、AI和云的深度融合

騰訊Angel在深度學(xué)習(xí)和圖計(jì)算能力的演變，也與大數(shù)據(jù)的行業(yè)發(fā)展方向相契合。據(jù)劉煜宏介紹，未來(lái)，騰訊大數(shù)據(jù)將持續(xù)發(fā)力數(shù)據(jù)湖、批流統(tǒng)一(批量計(jì)算、流線計(jì)算的融合)、AI+大數(shù)據(jù)、云計(jì)算+大數(shù)據(jù)四個(gè)主要方向。

劉煜宏表示：“AI、云計(jì)算與大數(shù)據(jù)密不可分，Angel從大數(shù)據(jù)平臺(tái)到全棧機(jī)器學(xué)習(xí)平臺(tái)的成長(zhǎng)，也驗(yàn)證了這一行業(yè)方向。未來(lái)我們將把騰訊大數(shù)據(jù)的能力和技術(shù)，與AI、與云做深度融合，進(jìn)一步落地大數(shù)據(jù)的價(jià)值，更好的助力合作伙伴和用戶(hù)。”

據(jù)了解，騰訊大數(shù)據(jù)星火計(jì)劃是由騰訊發(fā)起、面向大數(shù)據(jù)愛(ài)好者的技術(shù)共享體系，基于騰訊大數(shù)據(jù)10年研發(fā)與運(yùn)營(yíng)經(jīng)驗(yàn)，以社區(qū)開(kāi)源、網(wǎng)絡(luò)課程、線下沙龍、技術(shù)峰會(huì)等多種形式，充分開(kāi)放騰訊十多年來(lái)在大數(shù)據(jù)領(lǐng)域的技術(shù)積累。本次Angel專(zhuān)場(chǎng)是星火計(jì)劃的首次線下活動(dòng)。