WOT2015訪談——新浪微博推薦及廣告技術(shù)總監(jiān)·王傳鵬
原創(chuàng)51CTO WOT 2015移動(dòng)互聯(lián)網(wǎng)開(kāi)發(fā)者大會(huì)即將于2015年7月24-25日在北京富力萬(wàn)麗酒店隆重召開(kāi)。本次大會(huì)共設(shè)八大技術(shù)分論壇,分別從產(chǎn)品與設(shè)計(jì)、平臺(tái)與技 術(shù)、創(chuàng)新與創(chuàng)業(yè)、移動(dòng)游戲、算法分析、HTML5、運(yùn)維安全、新浪微博技術(shù)等方面,為廣大移動(dòng)開(kāi)發(fā)者解開(kāi)技術(shù)迷思。
為使大家進(jìn)一步了解本次大會(huì),有針對(duì)性地選擇課程內(nèi)容,51CTO記者對(duì)即將參加大會(huì)演講的技術(shù)專家分別進(jìn)行專訪,為您進(jìn)行各場(chǎng)演講精華的新鮮速遞。本次大會(huì)詳細(xì)議程見(jiàn):http://wot.51cto.com/.
今天帶來(lái)“劇透”的是微博商業(yè)產(chǎn)品部推薦及廣告 技術(shù)總監(jiān)王傳鵬,在本次的WOT移動(dòng)互聯(lián)網(wǎng)開(kāi)發(fā)者大會(huì)中,王傳鵬老師將在“算法分析專場(chǎng)”為大家分享《新浪微博移動(dòng)社交推薦廣告技術(shù)詳解》,如果您感興趣就速速前報(bào)名來(lái)參會(huì)吧!
【講師簡(jiǎn)介】
2011/4——現(xiàn)在 微博商業(yè)產(chǎn)品部推薦及廣告 技術(shù)總監(jiān)
2009/10——2011/4 當(dāng)當(dāng)網(wǎng)研發(fā)廣告技術(shù) 高級(jí)工程師
2008/4——2009/10創(chuàng)辦云存儲(chǔ)網(wǎng)絡(luò)硬盤(pán)——99盤(pán) 合伙人
2006/4——2008/4 霍尼韋爾北京研發(fā)中心 工程師
王傳鵬·新浪微博推薦及廣告技術(shù)總監(jiān)
以下是對(duì)王傳鵬老師的訪談實(shí)錄:
**************************************************************************
51CTO:請(qǐng)您首先簡(jiǎn)單介紹下自己的從業(yè)經(jīng)歷以及目前主要負(fù)責(zé)的內(nèi)容。
王傳鵬:我是2006年北航碩士畢業(yè)的,同年加入了HTSL(霍尼韋爾北京研發(fā)中心)做一些航空軟件相關(guān)工作,2007有機(jī)會(huì)出國(guó)工作一段時(shí)間,這段時(shí)間的新環(huán)境讓自己對(duì)今后的規(guī)劃有了更為清晰的認(rèn)識(shí)。回國(guó)之后遇到了一些艱苦創(chuàng)業(yè)的同學(xué),于是在2008年4月份離職和其他2位合伙人創(chuàng)辦網(wǎng)絡(luò)硬盤(pán)——99盤(pán)。
研發(fā)99盤(pán)這段時(shí)間算是我第一次接觸互聯(lián)網(wǎng)行業(yè),創(chuàng)業(yè)的階段是比較辛苦,到了2010年的一些時(shí)間里由于家庭原因以及公司運(yùn)營(yíng)的一些情況在10月份的時(shí)候離開(kāi)加入離錢(qián)近的電商公司當(dāng)當(dāng)網(wǎng)。在當(dāng)當(dāng)網(wǎng)研發(fā)部的主要工作是構(gòu)建當(dāng)當(dāng)廣告系統(tǒng),同時(shí)對(duì)互聯(lián)網(wǎng)有了系統(tǒng)認(rèn)識(shí)和了解,特別是廣告、推薦以及搜索方面的內(nèi)容。我是一個(gè)閑不住的人,在工作之余,我對(duì)推薦有比較濃厚的興趣也有一些實(shí)踐,當(dāng)時(shí)搞了一個(gè)千夫的內(nèi)部網(wǎng)站,通過(guò)Google reader作為數(shù)據(jù)源,為大家推薦科技、IT技術(shù)、電影、社會(huì)等等方面的資訊,挺有意思的。
進(jìn)入到2011年,微博屬于最火的狀態(tài),與此同時(shí)還有推薦相關(guān)工作可做,我就毅然決然地于4月加入微博這個(gè)大家庭,從最開(kāi)始支持社區(qū)產(chǎn)品,再到后來(lái)主要從事內(nèi)容以及用戶的推薦,然后到現(xiàn)在這個(gè)狀態(tài)。
我現(xiàn)在在微博主要負(fù)責(zé)的是推薦以及粉絲經(jīng)濟(jì)廣告相關(guān)研發(fā)工作,同時(shí)也負(fù)責(zé)支持微博廣告交易平臺(tái)WAX以及內(nèi)部商廣運(yùn)營(yíng)研發(fā)支持。
51CTO:在當(dāng)前移動(dòng)互聯(lián)網(wǎng)的環(huán)境下,微博社交推廣效果是怎樣的?目前遇到了什么樣的瓶頸,未來(lái)我們將如何去突破?
王傳鵬:個(gè)人認(rèn)為移動(dòng)互聯(lián)網(wǎng)時(shí)代比較重要的一個(gè)是用戶體驗(yàn),作為移動(dòng)社交平臺(tái)超級(jí)app,微博很在意這個(gè)用戶體驗(yàn),盡管在有商業(yè)化壓力的情況下,依然限定了在用戶微博流中插入推廣的占比,于此同時(shí)我們也在極力提高推廣的準(zhǔn)確性以及質(zhì)量,將用戶體驗(yàn)放在首位。考慮用戶感受以及公司對(duì)于微博推廣的期望的話,評(píng)價(jià)其效果,我想如果滿分是一百分,那么我們做到了及格,因?yàn)槲覀兂晒Φ爻休d了公司商業(yè)訴求的同時(shí)衍生出符合微博特性的粉絲經(jīng)濟(jì)原生廣告。
關(guān)于推廣效果的瓶頸問(wèn)題,我想應(yīng)該是兩個(gè)維度的:一個(gè)是說(shuō)用戶對(duì)于推廣的認(rèn)可度,在這個(gè)方面推廣系統(tǒng)對(duì)于用戶的刻畫(huà)是影響效果的重要因素。在微博,大部分用戶屬于沉默用戶,同時(shí)微博內(nèi)容包羅萬(wàn)象,用戶行為過(guò)于分散。使用傳統(tǒng)的標(biāo)簽以及分類體系來(lái)為用戶建模從而為推廣服務(wù),精準(zhǔn)刻畫(huà)上存在難度。針對(duì)這里問(wèn)題,其實(shí)回歸到關(guān)系構(gòu)建以及內(nèi)容實(shí)時(shí)傳播的微博本質(zhì)上我們能夠在一定程度上解決這個(gè)問(wèn)題。用戶的關(guān)系本身就是眾多信息的綜合體現(xiàn),我們需要利用好微博這個(gè)特性。同時(shí)實(shí)效性也是微博的一大特色,用戶的實(shí)時(shí)行為特征可能相較于靜態(tài)屬性更為能夠體現(xiàn)用戶在微博上的興趣點(diǎn)。另外一個(gè)維度是推廣的收益問(wèn)題,本質(zhì)是流量利用以及廣告競(jìng)爭(zhēng)生態(tài)的問(wèn)題,微博當(dāng)前的廣告交易平臺(tái)WAX以及偏自助型中小客戶的粉絲經(jīng)濟(jì)廣告產(chǎn)品增加廣告競(jìng)爭(zhēng)方面提升流量利用率。
51CTO:如果做微博社交推廣就一定離不開(kāi)精準(zhǔn)推送,那我們對(duì)于精準(zhǔn)推送是如何設(shè)計(jì)的?又是從哪幾個(gè)維度來(lái)考慮的?
王傳鵬:微博社交推廣的精準(zhǔn)推送主要從用戶基礎(chǔ)畫(huà)像分析、用戶點(diǎn)擊行為建模、在線投放以及推廣展現(xiàn) 四個(gè)方面進(jìn)行設(shè)計(jì)考慮的,用戶基礎(chǔ)畫(huà)像我們會(huì)從用戶行為、基本屬性、社交關(guān)系等維度進(jìn)行挖掘,其中社交關(guān)系的引入大大提升了效果;由于現(xiàn)在推廣都是使用CTR預(yù)估模型,因此這一塊的工作對(duì)于精準(zhǔn)推送意義重大,在訓(xùn)練流程搭建、特征工程、在線訓(xùn)練方法選取這些方面,微博有正在形成一套完整高效的框架;在在線投放方面,我們采用了用戶定向加強(qiáng)投放效率,引入行為上下文加強(qiáng)實(shí)時(shí)行為的影響因子;推廣展現(xiàn),主要是產(chǎn)品層面的事情,這一塊很多的推廣系統(tǒng)都比較少考慮,其實(shí)前端展現(xiàn)形式也是及其重要的,針對(duì)不同的推送物料會(huì)計(jì)算出合理的展現(xiàn)樣式,借此提升精準(zhǔn)性。。、
同時(shí),需要強(qiáng)調(diào)的是整個(gè)系統(tǒng)的精準(zhǔn)性離不開(kāi)幾個(gè)內(nèi)容:
1)數(shù)據(jù)收集與分析
2)在線實(shí)驗(yàn)流程
3)產(chǎn)品和技術(shù)的快速迭代
51CTO:微博社交推廣大家總是在說(shuō),但對(duì)于技術(shù)層面知道的人卻很少。 您能從整個(gè)架構(gòu)選型、設(shè)計(jì)思路、運(yùn)算等方面來(lái)給大家說(shuō)說(shuō)嗎?
王傳鵬:先說(shuō)一下對(duì)于技術(shù)層面知道的人比較少,對(duì)于這個(gè)問(wèn)題,我想是跟微博商業(yè)化時(shí)間以及團(tuán)隊(duì)做事風(fēng)格有關(guān)。微博2013年才成立自己的商業(yè)產(chǎn)品團(tuán)隊(duì),團(tuán)隊(duì)整個(gè)發(fā)展過(guò)程中也在不斷積累沉淀,盡管當(dāng)前我們還有很多的路要走,但是希望借本次大會(huì)來(lái)跟業(yè)內(nèi)的同行們分享一下微博推薦廣告經(jīng)歷的事情。走出去,引進(jìn)來(lái),希望更多的同學(xué)了解以及幫助微博推廣乃至微博的成長(zhǎng)。
微博社交推廣的引擎部分主要分成應(yīng)用、計(jì)算、數(shù)據(jù)三層,分別體現(xiàn)了推廣中的候選、排序以及展現(xiàn),這三層結(jié)構(gòu)是lamp結(jié)構(gòu)和memory-模塊化結(jié)構(gòu)的混合體,利用了lamp 的快速支持業(yè)務(wù)的特性,也保留了模塊化的高效以及算法支撐特點(diǎn)。在應(yīng)用層中我們使用nginx+lua/php來(lái)解決IO密集以及業(yè)務(wù)需求密集的問(wèn)題;計(jì)算層基于c/c++自研發(fā)的高性能服務(wù)框架,在該框架下可以很高效便捷地實(shí)現(xiàn)算法策略;數(shù)據(jù)層主要解決數(shù)據(jù)IN/STORE/OUT的問(wèn)題,我們將數(shù)據(jù)劃分成靜態(tài)和動(dòng)態(tài)數(shù)據(jù),靜態(tài)數(shù)據(jù)方面主要使用Hadoop集群進(jìn)行管理和處理,動(dòng)態(tài)數(shù)據(jù)團(tuán)隊(duì)研發(fā)了一款處理消息的rin系統(tǒng)框架。同時(shí),由于大部分?jǐn)?shù)據(jù)都是key-value的形式,因此針對(duì)動(dòng)態(tài)數(shù)據(jù)我們使用redis進(jìn)行存儲(chǔ),而靜態(tài)數(shù)據(jù)則研發(fā)了lushan集群降低存儲(chǔ)成本。最近數(shù)據(jù)團(tuán)隊(duì)正在發(fā)力解決out的問(wèn)題,盡可能的讓使用方高效、準(zhǔn)確、透明地獲取數(shù)據(jù)。
整體的設(shè)計(jì)思路其實(shí)也很簡(jiǎn)單,三點(diǎn):
1)分層以及適度抽象
2)簡(jiǎn)單即是美的
3)普遍的需求拿來(lái)主義,特化的需求輕量研發(fā)
關(guān)于微博社交推廣運(yùn)算主要分為幾個(gè)部分:
1)在線投放,主要是定向選取、CTR預(yù)估等等方面,這些都會(huì)在計(jì)算層高效解決。
2)離線模型訓(xùn)練以及候選生成,我們借助公司的Hadoop集群,使用MR、HIVE來(lái)完成。
3)廣告的結(jié)算部分,這一塊有專門(mén)的團(tuán)隊(duì)研發(fā)一套分布式結(jié)算系統(tǒng),保證計(jì)算的準(zhǔn)確性以及健壯性。
51CTO:微博社交推廣技術(shù)在施行過(guò)程中是否遇到問(wèn)題?我們是如何來(lái)解決的?
王傳鵬:技術(shù)在實(shí)施的過(guò)程中一定會(huì)有些問(wèn)題,其實(shí)是我想說(shuō)的這些問(wèn)題都是一些普遍問(wèn)題,技術(shù)以及業(yè)務(wù)的平衡。在業(yè)務(wù)高速發(fā)展的過(guò)程中,項(xiàng)目很多迭代那么對(duì)于技術(shù)方面的發(fā)展可能會(huì)被忽略,但是這樣特別是針對(duì)推薦廣告這類對(duì)于效果效率特別在意的領(lǐng)域,會(huì)導(dǎo)致長(zhǎng)期來(lái)看技術(shù)跟不上業(yè)務(wù)的發(fā)展,各種超時(shí)、不穩(wěn)定隨之而來(lái);如果拋棄業(yè)務(wù)發(fā)展而過(guò)于癡迷技術(shù)提升,會(huì)成為無(wú)本之木,所形成的技術(shù)積累也經(jīng)不起實(shí)際項(xiàng)目的推敲。因此,團(tuán)隊(duì)倡導(dǎo)業(yè)務(wù)與技術(shù)的相互促進(jìn),技術(shù)來(lái)源于業(yè)務(wù)發(fā)展又反過(guò)來(lái)推動(dòng)技術(shù)提升,業(yè)務(wù)促進(jìn)技術(shù)發(fā)展而又反過(guò)來(lái)滿足更好的業(yè)務(wù)迭代。
具體而言:
1)技術(shù)支持業(yè)務(wù)微迭代,在高速發(fā)展的移動(dòng)互聯(lián)網(wǎng),迭代速度代表了生命力
2)不害怕在技術(shù)上犯錯(cuò)誤,但是需要知道如何快速?gòu)浹a(bǔ)以及不再重犯
3)技術(shù)鼓勵(lì)朝后看,但是目標(biāo)是為了走在業(yè)務(wù)前。
來(lái)自谷歌、騰訊、京東、360、新浪微博、樂(lè)蜂網(wǎng)、魅族等企業(yè)的技術(shù)專家匯聚一堂,只為助你打開(kāi)實(shí)現(xiàn)夢(mèng)想的那一扇窗。盛會(huì)虛位以待,只等你快馬加鞭!