WOT講師劉喆:探聽AdMaster的Lambda架構(gòu)實(shí)踐
原創(chuàng)【51CTO.com原創(chuàng)稿件】WOT2016大數(shù)據(jù)峰會(huì)將于2016年11月25-26日在北京粵財(cái)JW萬豪酒店召開,屆時(shí),數(shù)十位大數(shù)據(jù)領(lǐng)域一線專家、數(shù)據(jù)技術(shù)先行者將齊聚現(xiàn)場,在圍繞機(jī)器學(xué)習(xí)、實(shí)時(shí)計(jì)算、系統(tǒng)架構(gòu)、NoSQL技術(shù)實(shí)踐等前沿技術(shù)話題展開深度交流和溝通探討的同時(shí),分享大數(shù)據(jù)領(lǐng)域***實(shí)踐和最熱門的行業(yè)應(yīng)用。
51CTO記者對(duì)即將參加大會(huì)演講的AdMaster資深架構(gòu)師劉喆先生行了專訪,讓我們先睹為快,探聽AdMaster的Lambda架構(gòu)實(shí)踐方面的心得。
劉喆先生簡介:
劉喆(Zhe Liu)先生2013年加入AdMaster,現(xiàn)任架構(gòu)師,主要負(fù)責(zé)數(shù)據(jù)處理的全流程技術(shù)支持, 高性能和高可用的分布式架構(gòu)設(shè)計(jì), DSL 語言抽象, Hadoop/HBase/Storm/Spark等大數(shù)據(jù)平臺(tái)優(yōu)化。2010年碩士畢業(yè)后, 劉喆在百度就職, 負(fù)責(zé)當(dāng)時(shí)全球規(guī)模***的 hadoop 平臺(tái)的運(yùn)維開發(fā)工作. 2011年底加入人民搜索, 代理運(yùn)維總監(jiān)。近7 年的大學(xué)生活和近 5 年的工作經(jīng)歷中, 劉喆一直在追求簡單直接,關(guān)注于數(shù)據(jù)挖掘/大數(shù)據(jù)/DSL/系統(tǒng)架構(gòu), 對(duì)分布式計(jì)算/分布式架構(gòu)和程序語言情有獨(dú)鐘, 曾多次被51CTO/spark 峰會(huì)/into100峰會(huì)等邀請(qǐng)為嘉賓分享Hadoop/spark/開源軟件等相關(guān)經(jīng)驗(yàn)。
AdMaster簡介:
AdMaster 精碩世紀(jì)科技(北京)有限公司是領(lǐng)先的營銷數(shù)據(jù)技術(shù)公司,利用先進(jìn)的大數(shù)據(jù)技術(shù)幫助品牌指導(dǎo)營銷策略并預(yù)先量化營銷效果。AdMaster架起了品牌、廣告主與消費(fèi)者之間的橋梁,是貫穿各行業(yè)和領(lǐng)域的數(shù)據(jù)樞紐。AdMaster實(shí)時(shí)日監(jiān)測并分析來自數(shù)字電視、電腦、智能手機(jī)和平板電腦的線上廣告曝光量數(shù)據(jù)高達(dá)50億次。我們與國際、國內(nèi)超百家媒體及上下游合作伙伴保持長期合作關(guān)系,保證了AdMaster作為數(shù)據(jù)樞紐的多方數(shù)據(jù)源對(duì)接和融合。
51CTO:在峰會(huì)現(xiàn)場你為何會(huì)選擇《AdMaster的Lambda架構(gòu)實(shí)踐》這個(gè)演講題目?
劉喆:總結(jié)近幾年主要業(yè)務(wù)的一些需求, 以及我們對(duì)應(yīng)的解決方案, 發(fā)現(xiàn) Lambda 架構(gòu)其實(shí)是非常適合業(yè)務(wù)需求的, 在系統(tǒng)穩(wěn)定性/可擴(kuò)展性/高效性等多方面滿足了我們的需求. 我們也通過實(shí)踐和趟坑, 完善了我們自己的Lambda 架構(gòu). 所以想給大家分享一下我們的實(shí)踐, 跟大家交流.
51CTO:能給我們詳細(xì)的介紹一下AdMaster 的 Lambda 架構(gòu)技術(shù)的優(yōu)勢嗎?
劉喆:Lambda 架構(gòu)是一個(gè)大的思想和方案, 但是具體的落地和實(shí)踐各有各的玩法, AdMaster 的 Lambda 架構(gòu)在采用了開源界的 flume/kafka/spark/flink 等項(xiàng)目的同時(shí), 加入了我們自己的改進(jìn)和補(bǔ)充, 達(dá)到了查漏補(bǔ)缺和錦上添花的效果, 在穩(wěn)定性/數(shù)據(jù)完整性/低時(shí)延/架構(gòu)可擴(kuò)展/業(yè)務(wù)可擴(kuò)展 等等方面有我們自己的考慮和實(shí)踐。
51CTO:有哪些優(yōu)秀的AdMaster 的 Lambda 架構(gòu)技術(shù)案例跟我們分享一下?
劉喆:一些案例包括:
1) Lambda 構(gòu)架對(duì)高效準(zhǔn)確的廣告監(jiān)測支持
2) Lambda 架構(gòu)對(duì)高效豐富的廣告投放支持
3) Lambda 架構(gòu)對(duì)輿情分析的支持
51CTO:您如何看待WOT的?有哪些好的建議或者意見?
劉喆:WOT 我已經(jīng)參加過幾次, 感覺主辦方非常用心, 真正地把前沿的技術(shù)帶到會(huì)場, 讓大家深入交流, 對(duì)于知識(shí)的傳播起到了很好的促進(jìn)作用, 參會(huì)者受益匪淺。
【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】