優(yōu)酷土豆單明輝—基于Hadoop平臺(tái)下的視頻推薦系統(tǒng)
原創(chuàng)2008年于中科院聲學(xué)所獲博士學(xué)位,主導(dǎo)了優(yōu)酷土豆視頻推薦支撐平臺(tái)設(shè)計(jì)與開(kāi)發(fā),目前負(fù)責(zé)低延時(shí)、高并發(fā)的大數(shù)據(jù)應(yīng)用支撐平臺(tái)建設(shè)。
從視頻網(wǎng)站的分類來(lái)說(shuō),優(yōu)酷土豆屬于兩者兼?zhèn)涞哪J剑ㄓ脩舢a(chǎn)生內(nèi)容+專業(yè)視頻內(nèi)容)。而這兩種類型的網(wǎng)站內(nèi)容和用戶行為各異,相應(yīng)的推薦系統(tǒng)的設(shè)計(jì)也會(huì)有一定差別。對(duì)此優(yōu)酷土豆建立了自己的推薦系統(tǒng),平衡二者的權(quán)重。并在此基礎(chǔ)之上發(fā)現(xiàn)GPU產(chǎn)生類型。在未來(lái)也將在此基礎(chǔ)上,進(jìn)行新的拓展。
目前,優(yōu)酷土豆視頻推薦系統(tǒng)分可大致分為為兩部分。***部分,是底層的算法架構(gòu),主要做算法的研究工作。第二部分,是上層的支撐架構(gòu),即大數(shù)據(jù)的支撐平臺(tái)。主要用于將海量視頻信息,快速實(shí)時(shí)的推薦給用戶,實(shí)現(xiàn)良好的用戶體驗(yàn)。
和舊有的視頻推薦系統(tǒng)相比,新的視頻推薦系統(tǒng),將數(shù)據(jù)和計(jì)算建立在Hadoop大數(shù)據(jù)平臺(tái)之上,包括信息算法的小流量支持和各種業(yè)務(wù)的流量支持,等可以作為擴(kuò)展在這個(gè)平臺(tái)上得以實(shí)現(xiàn)。
現(xiàn)在,優(yōu)酷土豆每天可以承受4-5億次響應(yīng),每次響應(yīng)在3-4毫秒左右。有了一個(gè)非常不錯(cuò)的成績(jī)。
而在用戶行為的收集上,視頻行業(yè)一直都把它當(dāng)作重中之重。對(duì)此,優(yōu)酷土豆成立專項(xiàng)小組,對(duì)用戶行為進(jìn)行收集。在新的架構(gòu)之上,包括之前沒(méi)有辦法收集的用戶實(shí)時(shí)訪問(wèn)的視頻數(shù)據(jù),用戶搜索行為、訪問(wèn)的頁(yè)面,現(xiàn)在都可以實(shí)現(xiàn)實(shí)時(shí)采集,并引入到實(shí)時(shí)的算法當(dāng)中去。同時(shí),在數(shù)據(jù)的更新頻率上,優(yōu)酷土豆也將更新頻率分為了三鐘類型。用以實(shí)現(xiàn)更加快速實(shí)時(shí)的用戶體驗(yàn)。
未來(lái)的優(yōu)酷土豆視頻推薦將會(huì)朝什么方向發(fā)展?談到這個(gè)問(wèn)題,單經(jīng)理對(duì)記者說(shuō):“未來(lái),優(yōu)酷土豆視頻推薦未來(lái)的發(fā)展方向可大致分為兩點(diǎn)。***,系統(tǒng)架構(gòu)上將更加實(shí)時(shí),以便能更加準(zhǔn)確、快速對(duì)用戶進(jìn)行分析。第二,在現(xiàn)在的UGC、PGC背景下,傳統(tǒng)的基于用戶行為的數(shù)據(jù),不足以挖掘出用戶的全部信息。因此,我們想通過(guò)用戶行為,用機(jī)器自動(dòng)聚合出標(biāo)簽,用標(biāo)簽做類似準(zhǔn)內(nèi)容推薦。這個(gè)標(biāo)簽可以用在用戶身上,也可以用在內(nèi)容上面,來(lái)標(biāo)明用戶喜好。更好的提升對(duì)用戶的服務(wù)體驗(yàn)。