大家好，我是梁唐。

前兩天寫(xiě)了一篇關(guān)于多目標(biāo)排序模型的文章，有小伙伴給我留言說(shuō)，多個(gè)目標(biāo)好理解， 但是排序的時(shí)候怎么融合多個(gè)目標(biāo)呢?

我仔細(xì)一想，的確沒(méi)有說(shuō)清楚，沒(méi)有相關(guān)工作經(jīng)驗(yàn)的小伙伴可能還是有些迷糊。沒(méi)有關(guān)系，我們今天就來(lái)單獨(dú)聊聊這個(gè)話(huà)題。

排序問(wèn)題

在說(shuō)清楚多目標(biāo)之前，我們先來(lái)看看排序。

排序是算法工程師做的最多的問(wèn)題之一，其實(shí)從原理角度來(lái)說(shuō)，搜索、廣告和推薦本質(zhì)上都是排序問(wèn)題。區(qū)別在于使用的場(chǎng)景不同，排序的目標(biāo)不同。

這一點(diǎn)我們之前在相關(guān)文章當(dāng)中講過(guò)，搜索主要看重相關(guān)性，用戶(hù)想看的一定是和搜索詞相關(guān)的內(nèi)容，然后才是商品質(zhì)量以及興趣。

廣告的目標(biāo)當(dāng)然是盈利，作為電商平臺(tái)以及互聯(lián)網(wǎng)公司的核心收入來(lái)源之一，廣告的核心目的沒(méi)有之一就是盈利。當(dāng)然盈利也分，不同業(yè)務(wù)場(chǎng)景的廣告盈利方式也不同。大部分廣告是按用戶(hù)的點(diǎn)擊收費(fèi)，也有的按曝光和成交收費(fèi)。不管按什么收費(fèi)，在廣告排序的時(shí)候一律按照期望收益排序，將最有可能賺錢(qián)的排在前面。

對(duì)于搜索和廣告來(lái)說(shuō)，排序的目標(biāo)都是相對(duì)比較明確的，但推薦不同，推薦的目標(biāo)就沒(méi)那么明確了。可能會(huì)有同學(xué)說(shuō)，推薦目標(biāo)不是用戶(hù)喜歡么，當(dāng)然是按照用戶(hù)興趣排序啦。

沒(méi)這么簡(jiǎn)單，先不說(shuō)用戶(hù)的興趣千差萬(wàn)別，即使能夠找到大胸妹一樣的公共興趣，效果也不一定會(huì)好。畢竟死直男們?cè)敢饪矗孀屗麄兓ㄥX(qián)去買(mǎi)女性用品，大多數(shù)還是做不出來(lái)。

所以在推薦領(lǐng)域，工程師們的目標(biāo)其實(shí)是比較迷茫的。但建模的過(guò)程當(dāng)中又必須要有一個(gè)明確的目標(biāo)，所以業(yè)內(nèi)還是用點(diǎn)擊率和轉(zhuǎn)化率來(lái)作為推薦的目標(biāo)。大家可以思考一個(gè)問(wèn)題，點(diǎn)擊率高轉(zhuǎn)化率高就意味著推薦效果好嗎?這兩者真的等價(jià)嗎?所有推薦場(chǎng)景都適合用點(diǎn)擊和轉(zhuǎn)化作為目標(biāo)嗎?

接著，我們來(lái)看看排序本身的問(wèn)題。

從技術(shù)上來(lái)說(shuō)排序本身并不復(fù)雜，就是按照模型預(yù)測(cè)的分?jǐn)?shù)進(jìn)行排序，把分?jǐn)?shù)高的排在前面。比如如果模型的預(yù)測(cè)結(jié)果是CTR，那么就是預(yù)測(cè)點(diǎn)擊率高的排在前面。如果模型的效果好的話(huà)，那么真實(shí)的點(diǎn)擊率就會(huì)上漲，同樣，如果我們以轉(zhuǎn)化率CVR排序，那么就是轉(zhuǎn)化率高的在前，由于轉(zhuǎn)化率和點(diǎn)擊率并不一定吻合，所以轉(zhuǎn)化率漲了，點(diǎn)擊率不一定也會(huì)漲。

難道不能同時(shí)按照多個(gè)值排嗎?

翻一下算法導(dǎo)論就知道，不能。所謂的多關(guān)鍵字排序也是按照順序依次比較關(guān)鍵字，在關(guān)鍵字都是浮點(diǎn)數(shù)幾乎不會(huì)出現(xiàn)相等的情況下，多關(guān)鍵字排序毫無(wú)意義。

所以如果我們同時(shí)預(yù)測(cè)了多個(gè)目標(biāo)，也沒(méi)辦法在排序的時(shí)候按照多個(gè)目標(biāo)排序，除非我們想辦法把它們?nèi)诤系揭黄稹＿@也就是今天文章的主題，多目標(biāo)的情況下怎么進(jìn)行融合排序的問(wèn)題。

融合方案

融合方案本身非常簡(jiǎn)單，大家都和拍腦袋差不太多，并沒(méi)有高下之分，只有效果好不好的差別。

比如你可以按照pctr + pcvr排，也可以pctr * pcvr排，也可以各自設(shè)置一個(gè)權(quán)重排，也可以設(shè)計(jì)一些奇怪的公式把它們?nèi)诤系揭黄鹋拧o(wú)論怎么操作，都是可以的。

但如果我們從實(shí)際意義來(lái)看，pctr * pcvr的方案更有物理意義，因?yàn)樗碇c(diǎn)擊轉(zhuǎn)化率，即用戶(hù)看到商品的前提下他會(huì)下單的概率。

為什么這種方案排序要比單純按照pctr或者pcvr排序效果好呢?因?yàn)楹芎?jiǎn)單，因?yàn)槲覀兪前凑粘朔e排序的，這兩個(gè)值里面只要有一個(gè)拉胯，就不會(huì)被排到前面。比如圖片是大胸妹的商品，可能點(diǎn)擊率很高，但轉(zhuǎn)化率不行，那么它也不會(huì)被排在前面。

相當(dāng)于我們做了一個(gè)權(quán)衡，過(guò)濾掉了一些轉(zhuǎn)化率奇高點(diǎn)擊率奇低和點(diǎn)擊率奇高轉(zhuǎn)化率奇低的極端case，可能會(huì)犧牲一些指標(biāo)，但整體上對(duì)于平臺(tái)的內(nèi)容是有利的。實(shí)際上從最終實(shí)驗(yàn)的結(jié)果來(lái)看，點(diǎn)擊率影響并不大，但轉(zhuǎn)化率能得到非常巨大的提升。

細(xì)節(jié)和常見(jiàn)錯(cuò)誤

不管我們?cè)O(shè)計(jì)怎么樣的多目標(biāo)融合方案，有一個(gè)細(xì)節(jié)一定要注意，就是這個(gè)目標(biāo)要和模型訓(xùn)練的目標(biāo)一致。

體現(xiàn)在我們計(jì)算損失函數(shù)的時(shí)候，我們要拿最終的方案來(lái)計(jì)算loss，并且更新模型參數(shù)。

這張圖大家都能看得懂，但是很多人在實(shí)現(xiàn)模型的時(shí)候出了問(wèn)題。比如說(shuō)設(shè)計(jì)了一個(gè)融合方案是x* pctr + y * pcvr，即給pctr和pcvr各自設(shè)置了一個(gè)權(quán)重。這本身也沒(méi)什么問(wèn)題，但是在損失函數(shù)的實(shí)現(xiàn)里面，它還是用的pctr和pcvr本身計(jì)算損失更新模型的，這就有問(wèn)題了。

比如，訓(xùn)練的時(shí)候計(jì)算pcvr轉(zhuǎn)化率的時(shí)候，計(jì)算損失函數(shù)是按照pcvr得到的，那么模型對(duì)于轉(zhuǎn)化率這個(gè)目標(biāo)的學(xué)習(xí)都是通過(guò)pcvr這個(gè)值控制的。但是實(shí)際線(xiàn)上排序的時(shí)候用的又是x * pctr + y * pcvr，這個(gè)公式模型從沒(méi)見(jiàn)過(guò)，那么肯定就會(huì)有偏差。

另外一個(gè)常見(jiàn)的問(wèn)題是分開(kāi)訓(xùn)練，和之前的例子差不多。線(xiàn)上預(yù)測(cè)的時(shí)候用的是pctcvr，但是訓(xùn)練的時(shí)候，多個(gè)目標(biāo)是分開(kāi)訓(xùn)練的，比如pctr的loss是用pctr算的，pcvr的loss是用pcvr算的。

細(xì)想會(huì)發(fā)現(xiàn)一個(gè)問(wèn)題，我們排序的時(shí)候用的是pctr * pcvr，這是兩個(gè)目標(biāo)融合的結(jié)果。理想情況下，對(duì)于這個(gè)目標(biāo)，兩個(gè)塔都應(yīng)該有所感知，體現(xiàn)在反向傳播的時(shí)候，彼此的結(jié)果會(huì)互相影響梯度，兩個(gè)塔會(huì)同時(shí)更新參數(shù)。但是我們loss是分開(kāi)的，也就是說(shuō)我們?cè)诜聪騻鞑サ臅r(shí)候，兩個(gè)塔是各自更新參數(shù)的，彼此不知道對(duì)方的存在，那么這里的協(xié)同性就沒(méi)有了。

常規(guī)的做法是對(duì)于點(diǎn)擊率的更新，我們只訓(xùn)練pctr這個(gè)塔，由于轉(zhuǎn)化的前提是點(diǎn)擊，所以我們按照pctcvr去計(jì)算轉(zhuǎn)化率目標(biāo)的loss，這樣在反向傳播的時(shí)候，可以同時(shí)更新這兩個(gè)塔的參數(shù)，起到一個(gè)協(xié)同的效果。

ESMM這篇論文看起來(lái)非常簡(jiǎn)單，好像就只是多了一個(gè)塔，里面的細(xì)節(jié)還是蠻多的。

如果想把這個(gè)模型吃透，非常推薦大家去仔細(xì)讀一下論文或者是相關(guān)實(shí)現(xiàn)的代碼。魔鬼都藏在細(xì)節(jié)里，仔細(xì)推敲，一定會(huì)大有收獲。

本文轉(zhuǎn)載自微信公眾號(hào)「Coder梁」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系Coder梁公眾號(hào)。