快手的Chang等人于2023年在論文《PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information》中正式提出了PEPNet模型，用于建模推薦系統(tǒng)中的多任務(wù)多領(lǐng)域問題。

本文將從PEPNet模型提出的動機(jī)、問題建模、模型結(jié)構(gòu)及工程優(yōu)化策略方面進(jìn)行詳細(xì)的闡述。

1.PEPNet模型的提出動機(jī)

（1）多任務(wù)學(xué)習(xí)：出發(fā)點(diǎn)是不同的任務(wù)之間存在稀疏性和依賴性。但由于不同任務(wù)具有獨(dú)特的稀疏性和相互影響，很難在多個(gè)任務(wù)中平衡相互依賴的目標(biāo)，從而導(dǎo)致任務(wù)蹺蹺板現(xiàn)象。

（2）多領(lǐng)域?qū)W習(xí)：出發(fā)點(diǎn)是不同場景內(nèi)的用戶和物品存在重疊。為每個(gè)場景單獨(dú)訓(xùn)練模型不僅在部署成本和迭代效率方面不可接受，而且沒有充分利用數(shù)據(jù)，忽略了數(shù)據(jù)之間的共性，導(dǎo)致訓(xùn)練得到的模型不是最優(yōu)的。然而，直接混合所有數(shù)據(jù)統(tǒng)一訓(xùn)練模型，由于不同場景內(nèi)的用戶行為和物品分布不一樣，無法對齊和融合具有不同語義和重要性的特征，會導(dǎo)致領(lǐng)域蹺蹺板現(xiàn)象。

（3）綜上所述，實(shí)際應(yīng)用中的多任務(wù)多領(lǐng)域場景問題存在雙重蹺蹺板現(xiàn)象，文中稱之為不完全雙重蹺蹺板現(xiàn)象（the imperfectly double seesaw phenomenon）。PEPNet模型就是用來解決這樣的問題，通過增強(qiáng)模型的個(gè)性化來捕捉用戶在各種情形下的偏好。

（4）若簡單地將個(gè)性化先驗(yàn)信息作為模型底層輸入，其效果將在經(jīng)過深度網(wǎng)絡(luò)傳遞到頂層后變得非常弱，因此PEPNet模型提出的關(guān)鍵動機(jī)是如何將個(gè)性化先驗(yàn)信息以正確的方式注入模型中正確的位置。

2.PEPNet問題建模

3.PEPNet模型結(jié)構(gòu)

模型整體由以下三部分組成：門控神經(jīng)單元（Gate NU）、嵌入個(gè)性化網(wǎng)絡(luò)（EPNet）和參數(shù)個(gè)性化網(wǎng)絡(luò)（PPNet）。

（1）門控神經(jīng)單元

（2）嵌入個(gè)性化網(wǎng)絡(luò)

（3）參數(shù)個(gè)性化網(wǎng)絡(luò)

（4）PEPNet模型總結(jié)

（a）PEPNet最終每個(gè)任務(wù)塔的輸出是同一個(gè)任務(wù)在不同領(lǐng)域內(nèi)的預(yù)測值，即每個(gè)塔將不同場景內(nèi)相同的任務(wù)歸在一起。

（b）EPNet結(jié)構(gòu)使用領(lǐng)域側(cè)特征作為輸入，對其了特征在不同領(lǐng)域內(nèi)的分布，得到了特定場景下的個(gè)性化輸入表征，實(shí)現(xiàn)了基于場景的特征個(gè)性化嵌入。

（c）PPNet結(jié)構(gòu)使用用戶和物品側(cè)特征作為輸入，對多任務(wù)的DNN參數(shù)施加樣本粒度的個(gè)性化影響，實(shí)現(xiàn)了用戶對特定任務(wù)的個(gè)性化，有效緩解了蹺蹺板效應(yīng)。

4.工程優(yōu)化策略

（1）特征消除策略：在大規(guī)模推薦系統(tǒng)中，若將每個(gè)特征都映射到嵌入向量會迅速占用服務(wù)器的內(nèi)存。故設(shè)計(jì)了一種無沖突且內(nèi)存高效的全局共享嵌入表，用于有效管理嵌入向量，能動態(tài)控制內(nèi)存占用低于某個(gè)閾值。

（2）在線同步策略：模型在線學(xué)習(xí)中，線上會累積一定量的訓(xùn)練樣本，將這個(gè)最小單元的樣本稱為“pass”，每個(gè)pass會更新模型參數(shù)。由于線上存在海量樣本，完全同步嵌入是不可行的。故采用了兩種淘汰策略：一是為每個(gè)特征設(shè)置數(shù)量限制，以防止單個(gè)特征的嵌入過度；二是為嵌入設(shè)置過期時(shí)間，即保留更新頻率高的，淘汰更新頻率低的。

（3）離線訓(xùn)練策略：短視頻場景中，ID特征變化快，嵌入更新頻率遠(yuǎn)高于模型參數(shù)更新頻率。為更好捕捉底層嵌入的變化，維持頂層DNN網(wǎng)絡(luò)參數(shù)的穩(wěn)定更新，使二者采用不同的更新策略。在嵌入層，使用AdaGrad優(yōu)化器，學(xué)習(xí)率設(shè)為0.05，而DNN參數(shù)則通過Adam優(yōu)化器更新，學(xué)習(xí)率為5.0e-06。

本文轉(zhuǎn)載自??南夏的算法驛站??，作者：趙南夏