在JD搜索體系中，EE模塊被定義的核心定位是：在給定流量和時(shí)間的約束下，探索出更多高效率的商品。EE的優(yōu)化目標(biāo)即為，以保障搜索效率為前提，提升廣義中長(zhǎng)尾商品的探索成功率，提升搜索結(jié)果的流動(dòng)性、豐富性。

全文將圍繞以下幾點(diǎn)展開(kāi)：

• EE場(chǎng)景迭代閉環(huán)
• 模型Debias迭代
• 在線AB指標(biāo)
• 離線評(píng)估體系
• 總結(jié)

01 EE場(chǎng)景迭代閉環(huán)

由于EE場(chǎng)景的特殊性，其從核心定位 → 在線指標(biāo) → 離線評(píng)估體系 → 模型迭代的優(yōu)化鏈路中的每一步，都需結(jié)合EE特點(diǎn)進(jìn)行針對(duì)性升級(jí)。

以下分別從模型迭代、在線實(shí)驗(yàn)指標(biāo)、離線評(píng)估體系介紹相應(yīng)模塊的優(yōu)化。

02 模型Debias迭代

1. 問(wèn)題背景

EE的核心定位在于探索更多更高效的潛力中長(zhǎng)尾商品，其首要回答的問(wèn)題便是，在目前搜索體系中，哪些因素阻礙中長(zhǎng)尾商品獲得更公平合理的展現(xiàn)機(jī)會(huì)？系統(tǒng)性的各類bias。

①Position-bias（展示位置偏置）?

當(dāng)前打分模型基于每天dump的搜索日志進(jìn)行訓(xùn)練更新。由于搜索結(jié)果的position-bias（位置偏置）效應(yīng)，user的行為動(dòng)作不僅與商品本身質(zhì)量有關(guān)，而且受position（展示位置）較大影響。position-bias（位置偏置）效應(yīng)對(duì)頭部商品的增益，加劇了平臺(tái)生態(tài)的馬太效應(yīng)。使用position-bias的日志數(shù)據(jù)進(jìn)行訓(xùn)練，而未對(duì)position（展示位置）做去偏，不利于中長(zhǎng)尾商品的正確效率預(yù)估，不利于平臺(tái)流動(dòng)性、豐富性和長(zhǎng)期價(jià)值。

②Polularity-bias（流行度偏置）?

存在與user偏好匹配程度相當(dāng)?shù)亩鄠€(gè)商品時(shí)，由于商品間的歷史累計(jì)銷量、累計(jì)評(píng)論等流行度特征的差異，造成傾向于給用戶呈現(xiàn)熱門(mén)流行商品，已流行商品則更流行。而匹配程度相似的中長(zhǎng)尾商品，則難有機(jī)會(huì)被展現(xiàn)，中長(zhǎng)尾更中長(zhǎng)尾。

③Exposure-bias（曝光偏置）?

一次搜索請(qǐng)求下，只有有限的商品列表展現(xiàn)給user，絕大多商品無(wú)法展示；搜索系統(tǒng)一天內(nèi)，整體被展現(xiàn)的商品集也只占全部商品集的小部分。由此帶來(lái)兩方面問(wèn)題：一方面是模型泛化問(wèn)題，訓(xùn)練在已展現(xiàn)商品的日志上進(jìn)行，serving需在所有商品上做推斷，如何平衡訓(xùn)練、推斷樣本分布差異化的矛盾，尤其是頭、尾部商品的巨大差距。另一方面是商品label問(wèn)題，商品未累積獲得用戶正反饋，是因?yàn)榕c用戶不匹配，還是未有展現(xiàn)機(jī)會(huì)？

針對(duì)以上bias問(wèn)題，EE排序模型從位置偏置建模、反事實(shí)推理學(xué)習(xí)方面進(jìn)行升級(jí)，嘗試緩解position-bias和polularity-bias，取得一定收益。而Exposure-bias由于隨機(jī)dump樣本的label問(wèn)題，還需要做更多探索。

目前EE排序模型整體結(jié)構(gòu)圖：

?

• 針對(duì)位置偏置，設(shè)計(jì)position-bias net于訓(xùn)練時(shí)建模位置作用、預(yù)測(cè)時(shí)mask，進(jìn)行展示位置去偏。
• 針對(duì)流行度偏置，構(gòu)建 U-I net/ item_net/ user_net 分別建模用戶-商品內(nèi)容匹配度、流行度因子、用戶心智偏好因子的影響，依據(jù)因果效應(yīng)消除偏置因子作用，還原用戶對(duì)商品本身內(nèi)容的偏好度。

2. 位置去偏迭代?

（1）Position-bias 位置偏置建模

EE模型升級(jí)至訓(xùn)練、預(yù)測(cè)兩階段的position-debias方案，通過(guò)pos-bias tower建模position-bias影響，并在高語(yǔ)義層級(jí)與輸出均值融合，擬合訓(xùn)練label，而后在預(yù)測(cè)階段摘除，以期去除pos-bias影響。

①Pos的建模方式?

• pos as feat?

訓(xùn)練階段，pos作為模型特征使用，與其他u/q/i側(cè)特征聯(lián)合，共同輸入模型網(wǎng)絡(luò)，計(jì)算相應(yīng)logits并梯度回傳。預(yù)測(cè)推理階段，所有樣本強(qiáng)制采用同一個(gè)pos值，近乎理解為：同一個(gè)user/query下， 所有商品在同樣的展示位置上，進(jìn)行預(yù)測(cè)分?jǐn)?shù)比較。

其潛在風(fēng)險(xiǎn)如下：?

強(qiáng)制pos數(shù)值如何選擇。展示位置一般可限制在 [0-30/60] 內(nèi)，然而不同強(qiáng)制位置的設(shè)定，會(huì)帶來(lái)排序結(jié)果的變化，如何在 [0-60] 間選擇合理的強(qiáng)制位置，以及不同時(shí)間和分布下，強(qiáng)制位置的選擇是否要重新進(jìn)行。

pos特征的重要性。將pos特征由網(wǎng)絡(luò)底層輸入，其重要性可能難以在最后的logits中得以充分體現(xiàn)，其物理意義（位置因素影響用戶商品交互行為的作用大小）不易直觀理解。

• multi-pos predict?

設(shè)計(jì)最后一層為多位置通道輸出的網(wǎng)絡(luò)，預(yù)測(cè)商品在各枚舉位置上的logits輸出。訓(xùn)練階段計(jì)算商品在所有位置上的輸出結(jié)果，只激活真實(shí)的pos通道計(jì)算logit和loss，其他位置通道進(jìn)行mask。推斷時(shí)，貪心地從第一個(gè)位置開(kāi)始，無(wú)放回地選擇當(dāng)前位置上的最優(yōu)商品，直至最后一個(gè)位置。

此方案適配用于排序位置較為固定的場(chǎng)景，如重排N選N，在搜索EE現(xiàn)有架構(gòu)下并不適配，一方面是SVGP結(jié)構(gòu)對(duì)多通道結(jié)果輸出并不友好；另一方面，EE現(xiàn)有插入范圍較大[1-60]、比較插入機(jī)制也需做非常復(fù)雜化的適配改造，方案過(guò)重。

• pos as tower

升級(jí)現(xiàn)有DNN + 稀疏變分高斯(svgp) 采樣打分模型，采用基于position-bias net（位置偏置）的模型方案，方案具體為訓(xùn)練、預(yù)測(cè)兩階段的位置去偏。

訓(xùn)練階段通過(guò)引入展示位置表征作為位置偏好網(wǎng)絡(luò)，與基于user/query/item的主網(wǎng)絡(luò)共同輸入，預(yù)估商品在當(dāng)前位置（位置偏好網(wǎng)絡(luò)）及自身質(zhì)量（主網(wǎng)絡(luò)）下的打分。

預(yù)測(cè)階段通過(guò)摘除位置偏好網(wǎng)絡(luò)，預(yù)測(cè)商品僅基于自身質(zhì)量的采樣打分，去除展示位置影響。通過(guò)此方案可以緩解訓(xùn)練數(shù)據(jù)的position-bias（位置偏執(zhí)），降低頭部商品由于展示位置的打分增益，同時(shí)減少中長(zhǎng)尾商品由于靠后位置的打分折損，優(yōu)化搜索結(jié)果豐富性和平臺(tái)生態(tài)。

（2）個(gè)性化位置偏置建模?

用戶對(duì)商品的偏好是個(gè)性化的，不同用戶對(duì)商品的偏好不同。用戶對(duì)位置的偏好也是差異化的，不同用戶對(duì)位置的敏感度存在差異。?

上文的bias-net建模方式，假定所有用戶對(duì)同一位置偏好相同，忽略了用戶間的位置偏好差異。典型例子如下，偏逛用戶在系統(tǒng)中對(duì)position相對(duì)不敏感，position的排名前后對(duì)用戶的行為決策影響相對(duì)更小，而對(duì)偏快速夠買(mǎi)用戶則影響截然相反。

個(gè)性化位置偏置建模。升級(jí)現(xiàn)有bias-net結(jié)構(gòu)，引入用戶個(gè)性化特征，包括靜態(tài)profile和動(dòng)態(tài)行為序列。通過(guò)個(gè)性化bias-net計(jì)算不同用戶對(duì)不同position的位置偏好，更準(zhǔn)確地還原用戶對(duì)商品內(nèi)容的真實(shí)偏好。

現(xiàn)有EE模型結(jié)構(gòu)為DNN+SVGP+TS，DNN對(duì)用戶和商品進(jìn)行個(gè)性化表征，SVGP通過(guò)訓(xùn)練樣本的反饋label以及樣本間表征距離，推導(dǎo)計(jì)算待預(yù)測(cè)樣本的效率打分和不確定性，結(jié)合TS算法采樣出商品的最終探索得分。

如何結(jié)合SVGP和Pos-bias Net，在不確定性打分模型中進(jìn)行位置去偏？

①Pos Tower 與 svgp的結(jié)合方式?

• SVGP簡(jiǎn)介

?

GP（Gaussian process，高斯過(guò)程）是用于在樣本間存在相關(guān)關(guān)系的情況下，通過(guò)觀測(cè)值對(duì)未知樣本label 進(jìn)行修正預(yù)測(cè)的算法。簡(jiǎn)言之，距離觀測(cè)點(diǎn)越近的未知樣本，其均值被修正越多、更接近觀測(cè)值，方差也越收斂，反之亦然。SVGP（Sparse Variational Gaussian Process, 基于稀疏變分的高斯過(guò)程），針對(duì)大樣本量下協(xié)方差矩陣和求逆難以計(jì)算的問(wèn)題，設(shè)計(jì)一定數(shù)量的可學(xué)習(xí)的引導(dǎo)點(diǎn)，對(duì)所有訓(xùn)練樣本進(jìn)行歸納，未知樣本通過(guò)與引導(dǎo)點(diǎn)的協(xié)方差來(lái)計(jì)算均值和方差。

• 表征層融合（Representation Fusion）?

Pos-tower與Main-tower融合方式有兩種，表征層融合和logit層融合。在SVGP計(jì)算前進(jìn)行融合，即表征層向量進(jìn)行融合，可以采用 concat/sum/avg 等各種方式。其難點(diǎn)在于，向量間的相加、平均操作，無(wú)法直觀理解其物理意義和作用，向量疊加是否導(dǎo)致logit正向增大，向量帶來(lái)多大的logit提升，這些位置偏置作用難以解析。

另外從模型結(jié)構(gòu)來(lái)看，svgp依賴樣本內(nèi)容間相似度計(jì)算均值和方差，而position-bias的影響應(yīng)該獨(dú)立于樣本內(nèi)容的計(jì)算。

• logit層融合（Logit Fusion）

在svgp之后的logit層融合，可采用 logits 相乘相加方式，其直接從模型結(jié)構(gòu)上詮釋了這樣的公式  Label = f(content) + f(position) /  Label = f(content) * f(position) ，其中 f(position)的絕對(duì)值大小，直觀地表示 position 帶來(lái)的增益大小。

②位置偏置建模線上效果

保持大盤(pán)效率持平的情況下，EE核心指標(biāo)提升明顯，探索成功率指標(biāo)（探索更高效商品）顯著提升，探索流動(dòng)性指標(biāo)（探索更多商品）全面提高。

3. 流行度去偏

流行度去偏的常見(jiàn)思路簡(jiǎn)介如下：

①I(mǎi)PS?

對(duì)每個(gè)商品預(yù)估 propensity score，然后采用逆向 propensity score 權(quán)重的方式，消除傾向分的影響，預(yù)估商品真實(shí)的內(nèi)容匹配度得分。

挑戰(zhàn)點(diǎn)：?

• 如何準(zhǔn)確獲得 propensity score，這是對(duì)后續(xù)糾偏的前提挑戰(zhàn)。
• 整體為兩段式訓(xùn)練，鏈路上有一定復(fù)雜度。

②流行度降權(quán)

在實(shí)際搜推數(shù)據(jù)中，在user側(cè)、item側(cè)分別依據(jù)其流行程度，設(shè)計(jì)對(duì)應(yīng)降權(quán)權(quán)重，緩解整體被熱門(mén)用戶、商品所主導(dǎo)的趨勢(shì)，增強(qiáng)所關(guān)注樣本的影響力。

面臨難點(diǎn)：?

• 合理的設(shè)計(jì)權(quán)重方案。
• 如何挖掘hard example。

③基于因果關(guān)系的反事實(shí)推理?

如何緩解流行度偏置問(wèn)題？在訓(xùn)練鏈路中，增強(qiáng)改善中長(zhǎng)尾商品的學(xué)習(xí)是一類重要方法；對(duì)用戶交互行為進(jìn)行解構(gòu)，拆分出商品流行度等因子的作用，是另一個(gè)視角的解決思路。?

（1）因果圖、因果關(guān)系簡(jiǎn)介

因果圖是有向無(wú)環(huán)圖，其中節(jié)點(diǎn)表示隨機(jī)變量、有向邊表示節(jié)點(diǎn)之間的因果作用方向。如上圖對(duì)于節(jié)點(diǎn)Y變量，有兩條路徑的因果作用，分別是 I → Y 、I → K → Y。 

• I → Y 表示從 I 節(jié)點(diǎn)開(kāi)始的自然直接因果效應(yīng) (NDE），作用路徑上沒(méi)有中間節(jié)點(diǎn)。
• I → K → Y 表示從 I 節(jié)點(diǎn)開(kāi)始的間接因果效應(yīng)（TIE），K是路徑上的中間節(jié)點(diǎn)。
• 直接因果效應(yīng)和間接因果效應(yīng)之和，即為Y變量的總因果效應(yīng)（TE）。

總因果效應(yīng)計(jì)算，可以由自變量的單位擾動(dòng)帶來(lái)的因變量變化進(jìn)行計(jì)算，自然因果和間接因果效應(yīng)計(jì)算亦然：

以上公式可得，求出TE和NDE時(shí)，可推導(dǎo)計(jì)算中間接因果效應(yīng) TIE。

（2）搜索中的因果效應(yīng)?

在電商搜索場(chǎng)景下，用戶對(duì)商品的交互行為，可表示為 U-I 間各種因子的綜合作用。常見(jiàn)思路為考慮 U-I 間內(nèi)容匹配程度作為待預(yù)測(cè)因子，學(xué)習(xí)此因子在交互行為中的作用，在未來(lái)樣本上進(jìn)行預(yù)測(cè)排序。

從電商搜索的現(xiàn)實(shí)情況出發(fā)，對(duì)交互行為進(jìn)一步拆分，影響用戶商品交互行為的因子大體包含如下三方面：

•  (U-I) → Y,  U-I 內(nèi)容匹配度因子，用戶與item本身內(nèi)容的匹配程度、喜好程度對(duì)交互行為的影響，越喜歡則越點(diǎn)擊購(gòu)買(mǎi)，
• I → Y, Item流行度特征，內(nèi)容偏好匹配程度相當(dāng)?shù)膸讉€(gè)商品時(shí)，由于歷史累計(jì)銷量等流行度特征，熱門(mén)商品展現(xiàn)更多、被交互概率更高。
• U → Y, 用戶天然心智，user對(duì)流行商品的偏好程度不同，有些用戶更傾向于熱門(mén)商品，部分用戶則并不敏感。

以上因子的拆解，包括了U/I 內(nèi)容匹配度的間接因子的效應(yīng)，也包括了 U、I 的直接效應(yīng)影響。因此在EE模型中設(shè)計(jì)如下網(wǎng)絡(luò)，分別建模各個(gè)因子的作用：

具體分別設(shè)計(jì) UI-Match-Net, User-Net, Item-Net 分別預(yù)測(cè)對(duì)應(yīng)三種因子的作用，其中總效應(yīng)，U/I 效應(yīng)分別表示為：

在訓(xùn)練中Loss的設(shè)計(jì)如下，分別表示：

• U-I 與 label 的loss，優(yōu)化主模型的準(zhǔn)確性
• U、I 側(cè)直接因子的loss，通過(guò)這種方式分別預(yù)測(cè)兩種直接因子對(duì)交互結(jié)果的影響
• alpha/beta 為訓(xùn)練時(shí)超參

預(yù)測(cè)階段緩解流行度偏置，主要在于去除流行度因素、用戶心智因果（偏置因子）的影響，具體通過(guò)總因果效應(yīng)減去自然直接效應(yīng)（偏置因子效應(yīng)），盡量準(zhǔn)確還原 U-I 內(nèi)容匹配程度的影響。

TIE = TE - NDE：

?

反事實(shí)推理后的因果圖狀態(tài)如下，將U/I 的直接效應(yīng)消除，保留U-I 內(nèi)容匹配度的效應(yīng)：

（3）反事實(shí)推理建模線上效果?

保持大盤(pán)效率持平的情況下，EE核心指標(biāo)提升明顯，探索成功率指標(biāo)（探索更高效商品）和探索流動(dòng)性指標(biāo)（探索更多商品）均顯著提升。

03 在線AB指標(biāo)

探索成功率指標(biāo)，用于在小流量AB期間指導(dǎo)EE效果分析，其設(shè)計(jì)思路從EE核心價(jià)值出發(fā)，推導(dǎo)出長(zhǎng)期價(jià)值相關(guān)聯(lián)的AB期間核心指標(biāo)。

具體而言，即論證探索成功率指標(biāo) → EE核心價(jià)值。

滿足探索成功率的商品，跟蹤其一定時(shí)間后在搜索中的承接狀態(tài)，是否被大盤(pán)較好承接。判斷商品在搜索中的承接狀態(tài)，主要為三要素：流量、點(diǎn)擊、訂單。

通過(guò)對(duì)商品概況和承接定義、商品承接統(tǒng)計(jì)、分層承接分析等方面進(jìn)行分析，迭代出搜索EE在AB實(shí)驗(yàn)期間所關(guān)注的EE核心指標(biāo)集——探索成功率。

04 離線評(píng)估體系

EE線上指標(biāo)主要關(guān)注：

• 大盤(pán)效率，UCVR和UV價(jià)值。
• 探索成功率，其余輔助觀測(cè)指標(biāo)包括流動(dòng)性指標(biāo)、豐富性指標(biāo)。

在線的探索成功率和輔助指標(biāo)，現(xiàn)階段難以與模型離線指標(biāo)（AUC等）關(guān)聯(lián)，無(wú)法在離線評(píng)測(cè)EE模型的探索能力，限制EE模型迭代速度，極大增加迭代時(shí)間成本。

針對(duì)EE場(chǎng)景特異性的指標(biāo)，設(shè)計(jì)了離線指標(biāo)評(píng)測(cè)集合，分別從效率、中長(zhǎng)尾探索強(qiáng)度、不確定預(yù)估等方面，綜合評(píng)測(cè)EE模型，加速迭代。

05 總結(jié)

搜索EE是提升搜索場(chǎng)景流動(dòng)性、多樣性的關(guān)鍵模塊，其面臨的問(wèn)題和以效率排序?yàn)橹髂K的問(wèn)題有很大差異，對(duì)EE同學(xué)提出了不一樣的挑戰(zhàn)。

針對(duì)EE場(chǎng)景的特點(diǎn)，排序模型從Debias（打分公平性）入手，拆解存在于各種排序場(chǎng)景的bias問(wèn)題，對(duì)位置偏置和流行度偏置問(wèn)題升級(jí)較通用化的解決方案，取得了EE核心指標(biāo)的顯著提升。同時(shí)對(duì)于迭代鏈路中的在線AB指標(biāo)、離線評(píng)估體系，也進(jìn)行了論證和迭代，完成對(duì)整個(gè)EE排序閉環(huán)鏈路的升級(jí)。限于篇幅，AB指標(biāo)和離線評(píng)估體系在本文不做全面展開(kāi)，感興趣的同學(xué)歡迎隨時(shí)交流，共同探討。

EE場(chǎng)景面臨的挑戰(zhàn)很多，后續(xù)計(jì)劃從如下方面繼續(xù)深入探索：?

• 引入更豐富的用戶探索信號(hào)的表達(dá)，增加explore-net和監(jiān)督loss，提升EE模型對(duì)探索偏好的學(xué)習(xí)。
• 思考EE的長(zhǎng)期價(jià)值，如何在模型結(jié)構(gòu)、Loss設(shè)計(jì)上結(jié)合長(zhǎng)期價(jià)值。
• 優(yōu)化EE探索機(jī)制和EE候選集，提升EE全鏈路探索能力。

今天的分享就到這里，謝謝大家。