冷啟動系統優化與內容潛力預估實踐
背景
每平每屋是阿里巴巴旗下家居家裝平臺,涵蓋淘寶每平每屋家居頻道、每平每屋設計家、每平每屋App、每平每屋制造業等家居全鏈路服務,為消費者提供了2D短圖文、長圖文、3D樣板間、3D短視頻、VR全屋漫游等豐富多元的家居內容,逐漸成為當代年輕人生活靈感與家居裝修的向導之一。
淘寶內的每平每屋頻道是每平每屋業務獲取C端流量并進行內容分發從而建立用戶家居、生活方式心智場的主要陣地。在每平每屋頻道中,內容主要以場景搭配為主,內容內掛載了多個商品錨點,點擊商品錨點可以跳轉到商品的詳情頁完成進一步收藏、購買等行為。
隨著業務的快速發展,供給的內容類型 和 體裁逐漸豐富 , 內容量級也全面增加,而現有的個性化分發策略難以充分滿足內容創作者和內容消費者的訴求。具體地,對于內容消費者而言,希望在平臺上獲取到優質、實用的內容。對于內容創作者來說,則希望自己發布的內容被更多的人看到和認可。
以效率至上的個性化分發算法雖然能夠滿足用戶的短期訴求,但長期來看會導致平臺流量被頭部高熱內容占據,長尾內容無法得到有效曝光,從而導致部分創作者的內容無法及時獲得有效的反饋,生產積極性會大大降低,甚至從平臺流失。綜上,除了從算法分發的視角來優化平臺的流量分配策略外,還需要我們從內容生態的角度來考慮如何激勵創作者生產更多優質內容并保證這些內容能夠被消費者看到。
在推薦主鏈路的召回 、排序和機制策略中,我們引入了若干算法策略來提升推薦內容的多樣性降低系統的馬太效應,但這部分優化主要是在存量內容上生效,對于新發布的內容則依賴于冷啟動系統的加速。每平每屋的冷啟動鏈路先后經歷了從 基于湯普森采樣的 定坑展現到基于Visual EE的動態混排策略迭代。但是,隨著內容供給速度的提升,有限的冷啟動流量難以滿足新發內容的快速透出和潛在優質內容的快速成長訴求。本文將介紹我們在冷啟動系統采用兩階段多級流量放大策略和內容潛力預估模型的實踐經驗。
冷啟動系統優化
我們將新內容的冷啟動分為了兩個階段:
- 均勻保量
- 助推放大
均勻保量階段的目標為縮短新內容首曝時間并確保能夠公平地獲取曝光機會。而助推放大階段的目標是幫助內容快速成長,符合條件的新內容從當天分配的固定流量池互相競爭獲取流量,潛在的優質內容將會在這個階段快速獲取到一定的曝光數量,加快其成長速度。
由于新內容缺少線上的反饋數據,直接復用主鏈路的召回排序算法會導致對新內容的預估結果偏差較大,所以我們為冷啟動鏈路設計了一套獨立的召回排序鏈路。為了在缺少反饋數據的條件下盡可能將潛在優質內容排序靠前,我們還設計了一個內容潛力預估模型,并將該模型的預測分用在召回和排序算法中。冷啟動鏈路的推薦結果會結合主鏈路結果和調控分數進行生成式重排,最終確定冷啟動內容是否在當次請求中展示以及展示在第幾個坑位。
均勻保量
均勻保量是解決創作者流量確定性的第一個環節。在我們的系統中,最近7日內新發布并且曝光pv < x的內容會進入到均勻保量投放的階段,當內容投放達到曝光pv上限后則會退出該階段,該階段會確保每條新內容都能獲得一定的初始曝光,收集到的反饋數據有助于新內容在主鏈路中的透出。
為了防止一些創作者通過批量生產內容來獲取系統流量,我們根據創作者歷史生產內容的線上表現計算出了創作流量效率指數,根據該指數約束每個創作者每天在均勻保量階段可以獲得的流量上限 m,當作者創作的新內容在當天累計獲得的曝光pv > m時則不再對內容進行保量投放。
助推放大
均勻保量策略有效緩解了新內容首曝周期長和難以獲得初始流量的問題,但該鏈路沒有充分考慮到給予潛在優質內容更多的流量,加速其成長為熱門內容。我們為新內容引入助推成長的環節,根據內容在線上投放的實時表現動態調整扶持流量,隨著效果的提高逐步放大流量,給予優質內容獲取更多流量。
助推放大鏈路會對已經獲得過一部分曝光并且點擊率大于指定閾值min_ctr的內容執行分級的流量放大策略,在該策略中內容的扶持流量上限會隨著內容實時的點擊率動態的調整。我們根據大盤的內容效果和可用于扶持的流量比例劃分了k個助推等級,根據實時計算的后驗點擊率確定內容所屬的助推級別,當內容在助推鏈路中的曝光pv > 上限n后內容則會從助推鏈路中退出。
業務效果
- 流量新鮮度
- 近N天發布內容pvr:每日曝光內容中發布時間在N天內的內容獲取總流量占比(該指標越高表明新鮮度越高)
- 按pv加權發布天數:每日曝光內容中按內容曝光pv加權計算得到的內容發布天數(該指標越低表明新鮮度越高)
我們在21年5月底啟動了冷啟系統優化的項目,新系統逐步放量,從時間周期來看,自線上運行以來, 近 N天發布內容pvr 呈現逐步提高的趨勢,而 pv加權發布天數 呈現逐漸下降趨勢,表明新系統對于提高整體推薦系統的流量新鮮度具有正向促進作用,近7天發布內容pvr +15.8% ,近14天發布內容pvr +73.3% ,近30天發布內容pvr +17.1% 。
- 流量扶持效率
助推放大階段引入了分級流量放大機制,將用于冷啟扶持的流量更多傾斜到潛在優質內容,加速優質內容成長。我們采用近7天冷啟鏈路曝光的內容在最近1天常規鏈路分發下的pctr衡量扶持效率。具體公式定義為:
其中 為內容在冷啟鏈路獲取的曝光PV,
為內容在常規鏈路中統計得到的CTR。考慮到CTR的計算依賴曝光量,使用
表示僅統計在常規鏈路下獲得>100次曝光的內容,efficiency +30% , efficiency_limit +39.9%。
內容潛力預估模型
模型設計
我們設計內容潛力預估模型來預測新發布的內容在未來成長為熱門內容的概率。模型以內容是否能成為熱門為目標,將在發布7天內迅速獲得高曝光高點擊的內容為正樣本,其余為負樣本。通過模型訓練,捕獲內容成長為熱門的特征,從而挖掘出有潛力的內容。
- 特征工程
在特征選擇上,主要分為2類:內容屬性特征和內容封面圖特征。其中,內容屬性特征包括:內容所屬的風格、空間,掛載商品的id、類目、店鋪、組合價格等。通過一個預訓練的模型提取對應的封面圖圖像embedding特征。值得注意的是,我們有意識地避開點擊率等基于用戶交互行為的統計特征,以期更專注于內容本身進行潛力預估。
- 樣本構造
在樣本構造上,我們采取兩種方案:
方案一:設定曝光PV和點擊率閾值,高于閾值的為正樣本,否則為負樣本;
方案二:首先,根據內容曝光PV對點擊率進行校正。其次,將空間x風格維度下,內容發布7天后累計點擊率高于維度內平均點擊率的內容為正樣本,其余為負樣本。
方案一在正樣本的選擇上更為嚴格,能夠確保是熱門的內容。方案二考慮了不同空間和風格內容下內容點擊率的差異,但是可能會將維度內熱門但全局非熱門內容的設置為正樣本。
- 模型結構
在Wide & Deep模型基礎之上設計潛力預估模型,具體改動有兩處:
- 內容封面圖向量與Sparse feature的embedding進行concat,共同作為deep側輸入;
- 訓練時,根據曝光PV的大小,給樣本賦值不同的置信度,PV值越大,樣本越置信。
離線評估
下表展示了基于上述兩種方案訓練的模型進行潛力預估,P(is_hot)位于top10%的內容在發布7天后在冷啟結束后的自然推薦獲得曝光PV的分布。
0 | 1 | 2 | 3 | 4 | 5 | |
方案一 | 17.45% | 12.97% | 11.57% | 11.57% | 23.53% | 28.18% |
方案二 | 19.17% | 13.75% | 13.97% | 24.70% | 20.78% | 24.30% |
第一行的0-5是內容曝光PV的范圍劃定:數值越大,對應的曝光PV越高。從占比上看,方案二在潛力內容挖掘上準確性更高。
業務效果
潛力預估分主要被應用于干預線上冷啟鏈路內容的召回和排序算法。期望對于P(is_hot)高的內容,給予更高的冷啟PV;同時,對于P(is_hot)低的內容,減少其冷啟PV,以節省一部分冷啟流量。在具體實現上,我們分別將潛力預估分作為冷啟鏈路排序模型的一個特征和召回鏈路的截斷分。
- 作為排序模型特征
我們統計了線上完整7天的AB實驗結果。
uctr | pctr | avg_expo | avg_click | avg_ipv_click | ipv_uctr | ipv_pctr | uctcvr | pctcvr | |
方案一 | +0.18% | +0.19% | -0.89% | -0.71% | +0.21% | +0.33% | +0.86% | +0.51% | +1.05% |
方案二 | -0.16% | +0.15% | -0.81% | -0.66% | -0.23% | -0.38% | +0.34% | -0.54% | +0.49% |
另外,我們統計了線上冷啟鏈路完整AB7天的效果。
ab_id | pctr | uctr | ipv_pctr | ipv_uctr | pctcvr | uctcvr | expo_ratio |
方案一 | +3.00% | +3.10% | -0.45% | +0.38% | +2.16% | +3.14% | +0.34% |
方案二 | -0.03 | -0.04 | -0.06 | -0.05 | -0.07 | -0.07 | 0.00 |
相比較于冷啟扶持baseline,將基于方案一輸出的內容潛力預估分作為冷啟鏈路粗排模型的特征,整體收益為正,二跳相關指標提升顯著。而方案二整體收益為負,可能是將維度內熱門但全局非熱門內容的設置為正樣本帶來了負向影響。
- 作為召回截斷分
進一步地,我們將方案一的潛力預估分作為冷啟鏈路中葉子類目單鏈路召回的截斷分。下表展示了線上完整7天AB實驗結果。
uctr | pctr | avg_expo | avg_click | ipv_uctr | ipv_pctr | uctcvr | pctcvr | avg_ipv | |
單鏈路召回分 | +0.25% | +0.03% | -0.02% | +0.01% | +0.37% | +0.26% | +0.62% | +0.29% | +0.26% |
而在冷啟鏈路上完整AB7天的效果如下所示。
pctr | uctr | ipv_pctr | ipv_uctr | pctcvr | uctcvr | expo_ratio | |
單鏈路召回分 | +8.06% | +8.31% | +11.10% | +10.40% | +20.38% | 19.47% | +13.54% |
在冷啟鏈路上提升顯著,并在整體指標上也獲得了進一步的提升。
總結
每平每屋頻道新內容冷啟動分發策略先后經歷了從基于湯普森采樣的定坑展現到基于Visual EE的動態混排策略,在此基礎上我們將整個鏈路進行重新設計,以均勻保量和助推放大兩階段構成的獨立算法鏈路極大的縮減了新發布內容的首曝時間,提升了整體系統的流量新鮮度和冷啟動階段的扶持效率。我們引入的內容潛力預估模型通過預估新內容在未來成長為熱門內容的概率來干預冷啟鏈路的召回與排序,有效地幫助潛在熱門內容在冷啟動階段獲得更多的扶持流量,提升冷啟階段流量的利用率。
冷啟動優化項目取得了初步的成果,未來我們會進行更細致的優化:
- 不同的內容體裁在展現形式、內容主題和后驗效果上具有差異,設計更細致的冷啟動策略有助于進一步提升流量公平性和加速潛在優質內容的成長
- 冷啟動鏈路需求快速反饋,引入更多的實時特征并將主鏈路驗證有效的ODL進行遷移能夠提升整體鏈路的實時性,有助于新內容更精準的分發