深度學習在 CTR 中應用
一. Wide&&Deep 模型
首先給出Wide && Deep [1] 網絡結構:
本質上是線性模型(左邊部分, Wide model)和DNN的融合(右邊部分,Deep Model)。
推薦系統需要解決兩個問題:
記憶性: 比如通過歷史數據知道”麻雀會飛”，”鴿子會飛”
泛化性: 推斷在歷史數據中從未見過的情形，”帶翅膀的動物會飛”
WideDeep是怎么解決這兩個問題呢?
Wide模型:
比如現在有一個點餐推薦APP，我輸入炸雞(query)，那么會給我進行推薦其他相關的食物(item)，那么模型目地就是為了希望知道給定了query, 消費item的概率， 即: P(消費| query, item). 那我們就可以通過構建出一系列(query, item)的cross 特征， 通過LR去學習到這些不同的cross特征與target = 消費 的相關性。比如(query = “炸雞”, item = “啤酒”) 與target = 消費 ,通過歷史數據學習到有很強的相關性，那么就推薦給炸雞。
Deep模型:
現在我厭倦了推薦的結果，希望推一些讓我驚喜的食物，上面的wide模型，我們構建的cross特征也是有限的，不能面面俱到，cross特征或許可以是三個類別，四個類別。所以，需要deep模型自動幫我們做一些特征。每個特征可以映射到一個低維空間去，學習到一個低維dense的表達(embedding vector)。 那么給定一個query, 我們可以在embedding space中找距離相近的item， 認為是潛在喜歡的item
Wide模型與Deep模型的結合，目的是為了平衡記憶性和泛化性的結果.
二. FNN，SNN 模型
和wide deep出發點一樣， 一些線性模型LR很難學到非線性表達， 非線性模型比如FM, GBDT又很難學到所有的特征組合方式。那么，如何利用DNN去自動學習到特征表達，自動去學習到特征之間的交叉呢?
FNN模型結構:
首先需要對category特征進行一個one-hot編碼。
l1, l2層都是隱藏層，那么， dense real layer 就可以看作一個embedding層， 每個field 分別 對應一個embedding的過程。通常，使用FM去初始化這些參數往往能夠更快地收斂，***限制避免訓練過程中陷入局部最小，以及得到更好的結果。可以看到，FNN其實就是widedeep模型的deep部分，但是FNN有用FM進行一個參數初始化的過程。
SNN模型結構
SNN和FNN模型區別于***層的訓練方法， FNN***層先用FM初始化，可以看到，SNN***層是全連接的，不區分不同的field。 初始化采用RBM(限制玻爾茲曼機) 和 DAE(自動編碼機)。
訓練過程中，沒有每輪迭代都會用到所有的特征，對為0的單元進行一個下采樣操作，圖中黑色的單元即是沒有被選取到，不參與參數迭代。計算復雜度得到大量的減少。
文章在iPinYou數據集上進行評測，可以看到FNN效果優于FM，LR。
文章對調參也給出了一些經驗
網絡結構，通常，鉆石型的網絡結構往往優于其他結構
隱藏層單元數不是越高越好，中間有一個臨界值達到***.
Dropout在數據量本來就很稀疏的情況下盡量不用，不同的數據集dropout表現差距比較大。
三. PNN 模型
PNN的網絡結構:
PNN的結構的思想相比于WideDeep模型核心改動地方在對于embedding后的dense feature，增加了兩兩交叉的功能，widedeep是embedding feature全部輸入到隱藏層了。不同field經過Embedding后的特征做點擊運算其實就相當于FM，那么PNN認為首先需要確保學習到這些交叉特征，再去額外交給DNN去學習更復雜的交叉特征。那么PNN結構其實相當于FM+DEEP。
再說下網絡細節: Embedding layer 和Wide Deep模型是一樣的， 不同field特征映射到了一個embedding的空間上，這時，不是所有的特征直接送到一個NN網絡里面去，這里分成兩個部分z 和p。 z部分直接就是原始的embedding特征不變; P部分是embedding特征兩兩做內積運算，達到FM的效果，接下來z和p拼接成一個vector， 送到一個NN網絡里面，***softmax輸出概率值。
四. DeepFM 模型
DeepFM的網絡結構:
可以看到，很像PNN結構，只是在這里FM沒有和原始特征一起送到NN中去訓練，而是單獨拿出來類似于WIDE模型。其實就是WideDeep模型中Wide側替換為FM。
五. NFM 模型
NFM模型的網絡結構:
首先，也是經過全連接得到embedding層，輸入是
分別是不同特征對應的相同維數的embedding向量。接下來，這些embedding向量兩兩做element-wise的相乘運算得到B-interaction layer。(element-wide運算舉例: (1,2,3)element-wide相乘(4,5,6)結果是(4,10,18)。)
該B-interaction Layer 得到的是一個和embedding維數相同的向量。然后后面接幾個隱藏層輸出結果。
為什么這么做呢?首先看如果B-interaction layer后面不接隱藏層，直接把向量的元素相加輸出結果(對應下面的公式h=(1,1,1,...,1)) , 就是一個FM， 就好比一個線性模型，權重都是1 :
現在后面增加了隱藏層，相當于做了更高階的FM，更加增強了非線性表達能力。
六. AFM 模型
AFM模型[6]的網絡結構:
AFM是NFM模型的一個改進， 在傳統FM模型中，使用二階交叉特征得到非線性表達能力，但是不是所有的特征交叉都會有預測能力，很多無用的特征交叉加入后反而會相當于加入了噪聲。
因此，在這個模型中，加入了Attention Net 機制，aij表示特征i,j交叉的權重。計算方式如下: 經過一個attention net的隱藏層，得到該特征交叉的權重
***的預測方式和NFM類似， 當P=(1,1,1,...,1)，是加了權重的FM， 后面也可以和NFM一樣增加隱藏層，得到更高階特征的表達能力。
結語: 沒有***的模型，針對不同的業務可能需要選擇不同的模型，比如如果需要解釋能力強的，那么不妨選擇AFM模型， Wide Deep實際中應用比較廣，效果也可以，但是很難定位問題，也難分析Deep側的特征重要性。同時網絡結構需要不斷嘗試，或許我們都可以embedding到一個固定的維數后，可以把這個embedding特征當作圖像來做，做卷積，pooling, 說不定有驚喜，達到去噪聲的目的。
原文鏈接：http://t.cn/RpvIs3Q
【本文是51CTO專欄作者“騰訊云技術社區”的原創稿件，轉載請通過51CTO聯系原作者獲取授權】
