在CTR預(yù)估中，主流都采用特征embedding+MLP的方式，其中特征非常關(guān)鍵。然而對(duì)于相同的特征，在不同的樣本中，表征是相同的，這種方式輸入到下游模型，會(huì)限制模型的表達(dá)能力。

為了解決這個(gè)問題，CTR預(yù)估領(lǐng)域提出了一系列相關(guān)工作，被稱為特征增強(qiáng)模塊。特征增強(qiáng)模塊根據(jù)不同的樣本，對(duì)embedding層的輸出結(jié)果進(jìn)行一次矯正，以適應(yīng)不同樣本的特征表示，提升模型的表達(dá)能力。

最近，復(fù)旦大學(xué)和微軟亞研院聯(lián)合發(fā)布了一篇特征增強(qiáng)工作的總結(jié)，對(duì)比了不同特征增強(qiáng)模塊實(shí)現(xiàn)方法的效果。下面給大家介紹一下幾種特征增強(qiáng)模塊的實(shí)現(xiàn)方法，以及本文進(jìn)行的相關(guān)對(duì)比實(shí)驗(yàn)。

論文標(biāo)題：A Comprehensive Summarization and Evaluation of Feature Refinement Modules for CTR Prediction

下載地址：https://arxiv.org/pdf/2311.04625v1.pdf

1、特征增強(qiáng)建模思路

特征增強(qiáng)模塊，旨在提升CTR預(yù)估模型中Embedding層的表達(dá)能力，實(shí)現(xiàn)相同特征在不同樣本下的表征差異化。特征增強(qiáng)模塊可以用下面這個(gè)統(tǒng)一公式表達(dá)，輸入原始的Embedding，經(jīng)過一個(gè)函數(shù)后，生成這個(gè)樣本個(gè)性化的Embedding。

圖片

這類方法的大致思路為，在得到初始的每個(gè)特征的embedding后，使用樣本本身的表征，對(duì)特征embedding做一個(gè)變換，得到當(dāng)前樣本的個(gè)性化embedding。下面給大家介紹一些經(jīng)典的特征增強(qiáng)模塊建模方法。

2、特征增強(qiáng)經(jīng)典方法

An Input-aware Factorization Machine for Sparse Prediction（IJCAI 2019）這篇文章在embedding層之后增加了一個(gè)reweight層，將樣本初始embedding輸入到一個(gè)MLP中得到一個(gè)表征樣本的向量，使用softmax進(jìn)行歸一化。Softmax后的每個(gè)元素對(duì)應(yīng)一個(gè)特征，代表這個(gè)特征的重要程度，使用這個(gè)softmax結(jié)果和每個(gè)對(duì)應(yīng)特征的初始embedding相乘，實(shí)現(xiàn)樣本粒度的特征embedding加權(quán)。

圖片

FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction（RecSys 2019）也是類似的思路，為每個(gè)樣本學(xué)習(xí)一個(gè)特征的個(gè)性化權(quán)重。整個(gè)過程分為squeeze、extraction、reweight三個(gè)步驟。在squeeze中，將每個(gè)特征embedding通過pooling得到一個(gè)其對(duì)應(yīng)的統(tǒng)計(jì)標(biāo)量。在extraction中，將這些標(biāo)量輸入到MLP中，得到每個(gè)特征的權(quán)重。最后，使用這個(gè)權(quán)重和每個(gè)特征embedding向量相乘，得到加權(quán)后的embedding結(jié)果，相當(dāng)于在樣本粒度做一個(gè)特征重要性篩選。

圖片

A Dual Input-aware Factorization Machine for CTR Prediction（IJCAI 2020）和上一篇文章類似，也是利用self-attention對(duì)特征進(jìn)行一層增強(qiáng)。整體分為vector-wise和bit-wise兩個(gè)模塊。Vector-wise將每個(gè)特征的embedding當(dāng)成序列中的一個(gè)元素，輸入到Transformer中得到融合后的特征表示；bit-wise部分使用多層MLP對(duì)原始特征進(jìn)行映射。兩部分的輸入結(jié)果相加后，得到每個(gè)特征元素的權(quán)重，乘到對(duì)應(yīng)的原始特征的每一位上，得到增強(qiáng)后的特征。

圖片

GateNet: Gating-Enhanced Deep Network for Click-Through Rate Prediction（2020）利用每個(gè)特征的初始embedding過一個(gè)MLP和sigmoid函數(shù)生成其獨(dú)立的特征權(quán)重分，同時(shí)也使用MLP對(duì)所有特征進(jìn)行映射生成bit-wise的權(quán)重分，兩者融合對(duì)輸入特征進(jìn)行加權(quán)。除了特征層外，在MLP的隱層，也利用類似的方法，對(duì)每個(gè)隱層的輸入進(jìn)行加權(quán)。

圖片

Interpretable Click-Through Rate Prediction through Hierarchical Attention（WSDM 2020）也是利用self-attention實(shí)現(xiàn)特征的轉(zhuǎn)換，但是增加了高階特征的生成。這里面使用層次self-attention，每一層的self-attention以上一層sefl-attention的輸出作為輸入，每一層增加了一階高階特征組合，實(shí)現(xiàn)層次多階特征提取。具體來說，每一層進(jìn)行self-attention后，將生成的新特征矩陣經(jīng)過softmax得到每個(gè)特征的權(quán)重，根據(jù)權(quán)重對(duì)原始特征加權(quán)新的特征，再和原始特征進(jìn)行一次點(diǎn)積，實(shí)現(xiàn)增加一階的特征交叉。

圖片

ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding（2021）也是類似的做法，使用一個(gè)MLP將所有特征映射成一個(gè)每個(gè)特征embedding尺寸的維度，對(duì)原始特征做一個(gè)縮放，文中針對(duì)每個(gè)特征使用了個(gè)性化的MLP參數(shù)。通過這種方式，利用樣本中的其他特征作為上下位增強(qiáng)每個(gè)特征。

圖片

Enhancing CTR Prediction with Context-Aware Feature Representation Learning（SIGIR 2022）采用了self-attention進(jìn)行特征增強(qiáng)，對(duì)于一組輸入特征，每個(gè)特征對(duì)于其他特征的影響程度是不同的，通過self-attention，對(duì)每個(gè)特征的embedding進(jìn)行一次self-attention，實(shí)現(xiàn)樣本內(nèi)特征間的信息交互。除了特征間的交互，文中也利用MLP進(jìn)行bit級(jí)別的信息交互。上述生成的新embedding，會(huì)通過一個(gè)gate網(wǎng)絡(luò)，和原始的embedding進(jìn)行融合，得到最終refine后的特征表示。

圖片

3、實(shí)驗(yàn)效果

文中進(jìn)行了各類特征增強(qiáng)方法的效果對(duì)比，整體結(jié)論為，在眾多特征增強(qiáng)模塊中，GFRL、FRNet-V、FRNetB 表現(xiàn)的最好，并且效果要優(yōu)于其他的特征增強(qiáng)方法。

圖片