當(dāng)消費(fèi)者在電商網(wǎng)站搜索喜好商品時(shí)，會(huì)看到在頁(yè)面周邊的一些推薦。這些推薦商品中可能是消費(fèi)者現(xiàn)在需要的，也可能是曾經(jīng)搜索過(guò)的。這一現(xiàn)象背后如果沒(méi)有強(qiáng)大技術(shù)支持，就不會(huì)在精準(zhǔn)推送的同時(shí)還能夠保證消費(fèi)者的體驗(yàn)度。在51CTO舉辦的WOT2015互聯(lián)網(wǎng)開(kāi)發(fā)者大會(huì)上京東推薦搜索部技術(shù)總監(jiān)劉尚堃給分享了《京東數(shù)據(jù)驅(qū)動(dòng)下的個(gè)性化推薦系統(tǒng)》，51CTO記者也在大會(huì)現(xiàn)場(chǎng)對(duì)其進(jìn)行了專訪。接下來(lái)就來(lái)領(lǐng)略身為國(guó)內(nèi)最大自營(yíng)B2C平臺(tái)京東是通過(guò)哪些技術(shù)對(duì)消費(fèi)者進(jìn)行精準(zhǔn)的個(gè)性化推薦的？

【受訪者簡(jiǎn)介】

[[143955]]

劉尚堃·京東推薦搜索部技術(shù)總監(jiān)

劉尚堃，京東推薦搜索部技術(shù)總監(jiān)，有七年B2C行業(yè)搜索經(jīng)驗(yàn)。目前負(fù)責(zé)搜索引擎、推薦方面的產(chǎn)品研發(fā)和團(tuán)隊(duì)管理工作。他領(lǐng)導(dǎo)團(tuán)隊(duì)將推薦搜索技術(shù)應(yīng)用于京東各個(gè)品牌的支持當(dāng)中，包括移動(dòng)端的平臺(tái)、以及PC端平臺(tái)、以及微信平臺(tái)全部的推薦業(yè)務(wù)和場(chǎng)景。

個(gè)性化推薦簡(jiǎn)述

個(gè)性化推薦就是通過(guò)全方位的數(shù)據(jù)精準(zhǔn)刻畫(huà)用戶的購(gòu)買(mǎi)意圖，然后有針對(duì)性給用戶推薦用戶購(gòu)買(mǎi)意愿高的商品，為用戶提供極致的產(chǎn)品體驗(yàn)，提升下單轉(zhuǎn)化率，增強(qiáng)用戶粘性。個(gè)性化推薦模型分為召回和排序兩大類，劉尚堃在采訪中，通過(guò)舉例詳細(xì)的講解了這兩大類模型。

召回模型

召回模型就是選舉推薦的侯選，京東主要用到基于行為的召回模型，其分為近期和長(zhǎng)期兩種，其他還有基于偏好、基于地域等。

基于行為

基于近期行為的召回模型：例如一個(gè)用戶喜歡最近瀏覽一些炒股類的書(shū)籍，那么就會(huì)給這個(gè)用戶推薦一些他可能感興趣的其他炒股書(shū)籍。像這樣就尤其是最近發(fā)生的行為，這樣的情況就叫做近期行為的相似商品推薦。例如一個(gè)用戶買(mǎi)了一本《秘密花園》，這時(shí)候就會(huì)馬上給用戶推薦彩色筆。像這樣的情況就叫做近期行為的商品購(gòu)買(mǎi)搭配推薦。劉尚堃表示：“基于近期行為的在線算法是最基礎(chǔ)最好用同時(shí)也是轉(zhuǎn)化率最高的”。

長(zhǎng)尾商品的搭配

基于中長(zhǎng)期行為的召回模型：中長(zhǎng)期的行為通常在半年左右，可以用瀏覽相似、離線購(gòu)買(mǎi)搭配和離線的SVD。當(dāng)在做搭配的時(shí)會(huì)有一些小Trick。因?yàn)榫〇|的商品比較豐富，其中有些新商品沒(méi)有用戶行為。針對(duì)這樣的情況，利用購(gòu)物籃分析，建立產(chǎn)品和產(chǎn)品之間的關(guān)系。把這些關(guān)系應(yīng)用到個(gè)性化推薦中去，提升長(zhǎng)尾商品的搭配覆蓋率。

基于偏好

基于偏好也就是用戶畫(huà)像：比如女孩又比較喜歡化妝品買(mǎi)衣服，那么就會(huì)根據(jù)她在京東過(guò)去的一些行為，針對(duì)興趣愛(ài)好進(jìn)行推薦。當(dāng)然在推薦的時(shí)候，還要考慮到用戶的購(gòu)買(mǎi)力，敏感度等問(wèn)題。如果用戶特別鐘愛(ài)戶外用品，這就是用戶的偏好。喜歡韓版衣服，這是用戶的修飾的偏好。當(dāng)不知道用戶喜歡什么產(chǎn)品，也不知道什么興趣愛(ài)好甚至偏好時(shí)，就會(huì)通過(guò)一些算法來(lái)預(yù)測(cè)你感興趣的產(chǎn)品。基于大數(shù)據(jù)從海量的其他用戶中挖掘最接近的一個(gè)用戶，看看他喜歡什么樣的東西，他的興趣是什么，他的品牌是什么，然后再傳遞給用戶。

基于地域：京東有很多配送地，可以把一些區(qū)域做一些建模，比如說(shuō)三里屯地區(qū)撲克牌、色子買(mǎi)的人比較多，因?yàn)橛腥诵枰鼈兘o女孩變魔術(shù)。還有一些別的地區(qū)，也可能有類似這樣的偏向于某一種消費(fèi)品。通過(guò)區(qū)域劃分可以獲得很多的信息，比如購(gòu)買(mǎi)力，就拿萬(wàn)國(guó)城和史個(gè)莊相比，萬(wàn)國(guó)城的消費(fèi)程度比較高，就推薦一些高價(jià)位的商品。地域模型主要還可以用在沒(méi)有任何消費(fèi)行為的新用戶上，就拿一名從來(lái)沒(méi)有在京東上購(gòu)買(mǎi)過(guò)商品的學(xué)來(lái)說(shuō)，如果他是清華大學(xué)這個(gè)區(qū)域，就推薦一些比較有難度的考研題目，或四六級(jí)書(shū)籍。如果是北京聯(lián)合大學(xué)的學(xué)生，就相對(duì)應(yīng)簡(jiǎn)單一些。

排序模型

當(dāng)積累一定的用戶和流量，有一定點(diǎn)擊和購(gòu)買(mǎi)之后，就需用到排序算法。

排序?qū)W習(xí)

標(biāo)記：Point、pair、wise。第一步是做模型選取，因?yàn)槟Ｐ陀胁煌奶卣骱吞匦孕枰x取模型。第二是根據(jù)選取的模型進(jìn)行標(biāo)注，如果是Point標(biāo)注，是選取正例和負(fù)例，如果是pair wise標(biāo)注方法是，比如用ABCD四個(gè)商品，A沒(méi)有任何操作，B點(diǎn)擊了，C購(gòu)買(mǎi)了，D沒(méi)有任何操作，那么就是點(diǎn)擊了BA，那么BA就是一個(gè)正例。CA因?yàn)槭菍?shí)際購(gòu)買(mǎi)的，是正例，還有CB由于C是購(gòu)買(mǎi)，B是點(diǎn)擊，購(gòu)買(mǎi)比點(diǎn)擊更重要一些，CB也是正例，CD也是一個(gè)正例。后面的Tao是比較重要的程度。

特征計(jì)算：召回模型標(biāo)記特征，在線相似、在線相關(guān)、離線相似、離線相關(guān)，基于用戶畫(huà)像的召回和基于地域的召回，從哪個(gè)模型召回，這是我們重要的內(nèi)容。商業(yè)模型，比如某一個(gè)商品是大品牌還是小品牌等。用戶特征，實(shí)際上是對(duì)用戶畫(huà)像的維度，用戶的性別和購(gòu)買(mǎi)力，還有用戶之前點(diǎn)擊的商品以及之前購(gòu)買(mǎi)的商品是什么等。商品特征，，商品的銷量數(shù)，價(jià)格區(qū)間等。、上下文特征，指的是用戶之前和之后一系列的操作等。時(shí)間特征，什么時(shí)間點(diǎn)對(duì)這個(gè)商品進(jìn)行了點(diǎn)擊和購(gòu)買(mǎi)等。地域特征、季節(jié)特征等。

離線計(jì)算和在線計(jì)算

離線計(jì)算，數(shù)據(jù)存在Data Mart，通過(guò)Hadoop上面運(yùn)行Map Reduce，另外大量通過(guò)Mahout和Spark，通過(guò)分布式任務(wù)調(diào)度系統(tǒng)將輸送的結(jié)果存入HBase當(dāng)中。

在線計(jì)算計(jì)算流程，通過(guò)Kafka接收消息存入HBase當(dāng)中，在線計(jì)算主要基于Storm，實(shí)時(shí)消息基于Kafka是150億+消息的處理。

未來(lái)突破點(diǎn)

當(dāng)問(wèn)及未來(lái)針對(duì)個(gè)性化推薦系統(tǒng)從哪個(gè)角度去突破時(shí)候，劉尚堃這樣說(shuō)：“個(gè)性化推薦會(huì)達(dá)到一定瓶頸是肯定的，不敢說(shuō)在機(jī)器學(xué)習(xí)、推薦搜索算法上，已經(jīng)達(dá)到了一個(gè)什么樣的高度。因?yàn)樵谇懊嬗泻芏嗑揞^，包括國(guó)外也有不斷地出現(xiàn)一些新的技術(shù)。京東推薦部門(mén)經(jīng)過(guò)了幾年的發(fā)展不斷的趨向完美，在資深團(tuán)隊(duì)成長(zhǎng)的同時(shí)還有來(lái)自新浪谷歌的科學(xué)家加入。在過(guò)去，京東關(guān)更多關(guān)注的是推薦系統(tǒng)怎么去帶動(dòng)京東的銷售，怎么幫助網(wǎng)站提高轉(zhuǎn)化率。在未來(lái)，需要更多考慮的是體驗(yàn)類的指標(biāo)，就是怎么去提升用戶體驗(yàn)度。”

個(gè)性化推薦助力618大促

當(dāng)提及今年的618大促，劉尚堃說(shuō)：“在過(guò)去，618是對(duì)京東系統(tǒng)的一次考驗(yàn)或者壓力測(cè)試。但現(xiàn)在隨著京東系統(tǒng)的技術(shù)成熟，從2014年開(kāi)始，618更像是一次Party。可以從中結(jié)識(shí)新朋友、新人可從中學(xué)到知識(shí)。在個(gè)性化推薦方面，今年針對(duì)618設(shè)立了特別的場(chǎng)景并進(jìn)行優(yōu)化和提升，達(dá)到千人千面“。 

寫(xiě)在最后：   

一路走來(lái)京東個(gè)性化推薦有著突飛猛進(jìn)的發(fā)展，后續(xù)還會(huì)從用戶體驗(yàn)度出發(fā)，研發(fā)一些有驚喜度或者吸引人的產(chǎn)品。采訪最后，劉尚堃表示“京東下半年準(zhǔn)備直接在用戶沒(méi)有下單情況下，利用大數(shù)據(jù)技術(shù)直接將商品給到用戶，當(dāng)然用戶也可以拒收，這開(kāi)始會(huì)在小范圍實(shí)施”。可以設(shè)想一下，你需要的商品不用通過(guò)下單，就會(huì)送上門(mén)來(lái)。那時(shí)候是怎樣一番情景？