從零開始了解推薦系統全貌
有幸參與了幾個業務推薦系統搭建的全流程,本文將從實際經驗出發,為大家解構如何從零搭建推薦系統,希望跟大家能夠相互交流,如有錯誤之處煩請指正。
一、推薦算法的理解
如果說互聯網的目標就是連接一切,那么推薦系統的作用就是建立更加有效率的連接,推薦系統可以更有效率的連接用戶與內容和服務,節約了大量的時間和成本。
如果把推薦系統簡單拆開來看,推薦系統主要是由數據、算法、架構三個方面組成。
- 數據提供了信息。數據儲存了信息,包括用戶與內容的屬性,用戶的行為偏好例如對新聞的點擊、玩過的英雄、購買的物品等等。這些數據特征非常關鍵,甚至可以說它們決定了一個算法的上限。
- 算法提供了邏輯。數據通過不斷的積累,存儲了巨量的信息。在巨大的數據量與數據維度下,人已經無法通過人工策略進行分析干預,因此需要基于一套復雜的信息處理邏輯,基于邏輯返回推薦的內容或服務。
- 架構解放了雙手。架構保證整個推薦自動化、實時性的運行。架構包含了接收用戶請求,收集、處理,存儲用戶數據,推薦算法計算,返回推薦結果等。有了架構之后算法不再依賴于手動計算,可以進行實時化、自動化的運行。例如在淘寶推薦中,對于數據實時性的處理,就保證了用戶在點擊一個物品后,后續返回的推薦結果就可以立刻根據該點擊而改變。一個推薦系統的實時性要求越高、訪問量越大那么這個推薦系統的架構就會越復雜。
二、推薦系統的整體框架
推薦的框架主要有以下幾個模塊:
- 協議調度:請求的發送和結果的回傳。在請求中,用戶會發送自己的 ID,地理位置等信息。結果回傳中會返回推薦系統給用戶推薦的結果。
- 推薦算法:算法按照一定的邏輯為用戶產生最終的推薦結果。不同的推薦算法基于不同的邏輯與數據運算過程。
- 消息隊列:數據的上報與處理。根據用戶的 ID,拉取例如用戶的性別、之前的點擊、收藏等用戶信息。而用戶在 APP 中產生的新行為,例如新的點擊會儲存在存儲單元里面。
- 存儲單元:不同的數據類型和用途會儲存在不同的存儲單元中,例如內容標簽與內容的索引存儲在 mysql 里,實時性數據存儲在 redis 里,需要進行數據統計的數據存儲在 TDW 里。
三、用戶畫像
1. 用戶標簽
標簽是我們對多維事物的降維理解,抽象出事物更具有代表性的特點。 我們永遠無法完全的了解一個人,所以我們只能夠通過一個一個標簽的來刻畫他,所有的標簽最終會構建為一個立體的畫像,一個詳盡的用戶畫像可以幫助我們更加好的理解用戶。
2. 用戶畫像的分類
(1) 原始數據
原始數據一共包含四個方面:
- 用戶數據: 例如用戶的性別、年齡、渠道、注冊時間、手機機型等。
- 內容數據: 例如游戲的品類,對游戲描述、評論的爬蟲之后得到的關鍵詞、標簽等。
- 用戶與內容的交互: 基于用戶的行為,了解了什么樣的用戶喜歡什么樣的游戲品類、關鍵詞、標簽等。
- 外部數據: 單一的產品只能描述用戶的某一類喜好,例如游戲的喜好、視頻的喜好,外部數據標簽可以讓用戶更加的立體。
(2) 事實標簽
事實標簽可以分為靜態畫像和動態畫像:
- 靜態畫像: 用戶獨立于產品場景之外的屬性,例如用戶的自然屬性,這類信息比較穩定,具有統計性意義。
- 動態畫像: 用戶在場景中所產生的顯示行為或隱式行為。
- 顯示行為:用戶明確的表達了自己的喜好,例如點贊、分享、關注、評分等。(評論的處理更加復雜,需要通過 NLP 的方式來判斷用戶的感情是正向、負向、中性)。
- 隱式行為:用戶沒有明確表達自己的喜好,但“口嫌體正直”,用戶會用實際行動,例如點擊、停留時長等隱性的行為表達自己的喜好。
隱式行為的權重往往不會有顯示行為大,但是在實際業務中,用戶的顯示行為都是比較稀疏的,所以需要依賴大量的隱式行為。
(3) 模型標簽
模型標簽是由事實標簽通過加權計算或是聚類分析所得。通過一層加工處理后,標簽所包含的信息量得到提升,在推薦過程中效果更好。
- 聚類分析: 例如按照用戶的活躍度進行聚類,將用戶分為高活躍-中活躍-低活躍三類。
- 加權計算: 根據用戶的行為將用戶的標簽加權計算,得到每一個標簽的分數,用于之后推薦算法的計算。
四、內容畫像
1. 內容畫像
推薦內容與場景通常可以分為以下幾類,根據所推薦的內容不同,其內容畫像的處理方式也不同。
- 文章推薦:例如新聞內容推薦,需要利用NLP的技術對文章的標題,正文等提取關鍵詞、標簽、分類等。
- 視頻推薦:除了對于分類、標題關鍵詞的抓取外,還依賴于圖片與視頻處理技術,例如識別內容標簽、內容相似性等。
2. 環境變量
內容畫像外,環境畫像也非常重要。例如在短視頻的推薦場景中,用戶在看到一條視頻所處的時間、地點以及當時所瀏覽的前后內容、當天已瀏覽時間等也是非常重要的信息,但由于環境變量數據量較大、類型較多,對推薦架構以及工程實現能力的要求也較高。
五、算法構建
1. 推薦算法流程
推薦算法其實本質上是一種信息處理邏輯,當獲取了用戶與內容的信息之后,按照一定的邏輯處理信息后,產生推薦結果。熱度排行榜就是最簡單的一種推薦方法,它依賴的邏輯就是當一個內容被大多數用戶喜歡,那大概率其他用戶也會喜歡。但是基于粗放的推薦往往會不夠精確,想要挖掘用戶個性化的,小眾化的興趣,需要制定復雜的規則運算邏輯,并由機器完成。
推薦算法主要分為以下幾步:
- 召回:當用戶以及內容量比較大的時候,往往先通過召回策略,將百萬量級的內容先縮小到百量級。
- 過濾:對于內容不可重復消費的領域,例如實時性比較強的新聞等,在用戶已經曝光和點擊后不會再推送到用戶面前。
- 精排:對于召回并過濾后的內容進行排序,將百量級的內容并按照順序推送。
- 混排:為避免內容越推越窄,將精排后的推薦結果進行一定修改,例如控制某一類型的頻次。
- 強規則:根據業務規則進行修改,例如在活動時將某些文章置頂。
2. 召回策略
(1) 召回的目的:當用戶與內容的量級比較大,例如對百萬量級的用戶與內容計算概率,就會產生百萬*百萬量級的計算量。但同時,大量內容中真正的精品只是少數,對所有內容進行一次計算將非常的低效,會浪費大量的資源和時間。因此采用召回策略,例如熱銷召回,召回一段時間內最熱門的 100 個內容,只需進行一次計算動作,就可以對所有用戶應用。
(2) 召回的重要性:召回模型是一個推薦系統的天花板,決定了后續可排序的空間。
(3) 召回方法:召回對算法的精度、范圍、性能都有較高要求。當前業界常采用離線訓練+打分或離線訓練達到向量表達+向量檢索的方式。(對比精排為了提高準確率,更多用離線+實時打分,或在線學習的方式)。
(4) 召回層與業務場景的結合
除了常規召回方式外,召回可以更多的與實際業務目標與場景結合,例如在飛豬業務場景中,其存在幾類行業特點:
- 訂單類型較多(涉及到交通、酒店、景區、周邊游),且業務之間具有一定的相關性和搭配性。
- 用戶存在周期性復購情況。
- 用戶訂單的稀疏性較大。
針對這些問題,其召回層會結合以下解決方案:
① 相關性&搭配性問題
- 協同往往只能召回相似的商品,而考慮到推薦目標的替代性和互補性,更多挖掘反應搭配關系的行為集合。
- 數據稀疏且噪音較大,僅僅基于數據構建圖,bad case較多,所以需要利用行業的知識圖譜。
- 結合行為序列:行為序列挖掘->構件圖(通過知識圖譜來增加約束)->序列采樣(降低噪音,抑制熱門問題)->訓練。
② 周期性復購問題
部分用戶存在固定的購買模式。利用Poission-Gamma分布的統計建模。計算在某個時間點,購買某個商品的概率,在正確的時間點給用戶推出合適的復購商品。
內容來源:《阿里飛豬個性化推薦:召回篇》
3. 粗排策略
(1) 粗排層目的:為后續鏈路提供集合。
(2) 粗排層特點:打分量高于精排,但有嚴格的延遲約束。
(3) 粗排層方法:主要分為兩種路線
- 集合選擇:以集合為建模目標,選出滿足后鏈路需求集合。其可控性較弱,算力消耗較小。(多通道、listwise、序列生成)
- 精準預估:以值為建模目標,直接對系統目標進行值預估??煽匦暂^高,算力消耗較大。(pointwise)
- 粗排層發展歷史:質量分->LR等傳統機器學習->向量內內卷積(雙塔模型)->COLD全鏈路(阿里)
4. 精排策略
(1) 精排層多目標融合原則
- 用戶的效用需要通過多個指標反饋:例如用戶對視頻的喜好,會通過停留時長、完播、點贊等多個動作反應。
- 產品的目標需要通過多個指標衡量:例如短視頻產品不僅需要考慮用戶效用,也需要考慮作者效用、平臺目標與生態影響。
(2) 精排層多目標融合實例
以短視頻行業為例,推薦目標主要由幾個方面組成:
- 對用戶價值。
- 對作者價值,包括給作者的流量、互動、收入等。
- 對內容生態價值,包括品牌價值、內容安全、平臺收入。
- 間接價值,非直接由視頻產生,例如用戶的評論提醒,會改善用戶的留存率。
參考:《多目標排序在快手短視頻推薦中的實踐》
(3) 精排層多目標融合方法
① 改變樣本權重/多模型分數融合:
- 改變樣本權重:先通過權重構造目標值,再進行模型擬合。
- 多模型分數融合:先進行模型擬合在進行加權融合。缺點:依賴規則設計,依賴人工調參,且經常面臨以A目標換取B目標的問題。
② Learn to rank :pairwise、listwise直接排序。
③ 結合在線數據自動調參:5%線上流量探索,每次探索N組參數,根據用戶的實時reward來優化線上的調參算法。設計約束項,在閾值內線性弱衰減,超出閾值指數強衰減。
④ 多任務學習:結合深度學習網絡,可以共享embedding特征,采用多種特征組合方式,達到相互促進以及泛化的作用。例如MMOE模型,不同的專家可以從相同的輸入中提取出不同的特征,由gate attention結構,把專家提取出的特征篩選出各個task最相關的特征,分別接入不同任務的全連接層。不同的任務需要不同的信息,因此每個任務都由獨立gate負責。
(4) 精排模型
① 精排模型發展歷史
② 精排模型分類
③ 精排模型基本原理
④ 精排模型優缺點
(5) 邏輯回歸——最簡單Model-based模型
① 原理介紹
概念:邏輯回歸通過 sigmoid 函數,將線性回歸變為可以解決二分類的方法,它可用于估計某種事物發生的可能性。
計算公式:Y 根據目標設計:例如是否點擊(是:1,否:0,最后預測一個 0-1 之間的點擊概率);X 根據特征工程設計:這一塊就涉及到了前面提到的用戶畫像與內容畫像,所有的畫像都是對樣本的特征的刻畫。特征工程需要根據業務場景選擇合適的特征并進行一定的加工;W 由模型訓練得到。
② 構建流程
基于我們的目標,需要進行樣本的收集(樣本是對客觀世界的具體描述),通過對已收集到的樣本進行特征構造,并對其進行訓練,最終求出模型參數的具體數值。
a.建立樣本
邏輯回歸為有監督模型,因此需要有已經分類好的樣本。正樣本:用戶曝光過某物品并點擊。負樣本:用戶曝光過某物品并且沒有點擊。如果正負樣本差距過大,可以將負樣本隨機抽樣后與正樣本一起訓練?;蛑槐A粲悬c擊行為的用戶作為樣本,將曝光但是沒有被點擊的物品作為負樣本。
b.特征工程
特征工程是對收集到的樣本進行更加深度的特征刻畫。雖然作為算法人員與用戶接觸較少,但對身邊使用該產品的同學,進行深入的觀察與訪談,了解他們對于所推薦內容的反饋,往往可以得到意料之外的特征開發方向。主要分為以下幾個維度。
- 基礎數據
- 趨勢數據
- 時間數據
- 交叉數據
不同交叉方法得到的不同的參數數量:
(6) 深度學習——當前最新發展方向
① 深度學習基礎 Embedding+MLP 模型
Embedding+MLP 模型結構:微軟在 2016 年提出 Deep Crossing,用于廣告推薦中。
從下到上可以分為 5 層,分別是 Feature 層、Embedding 層、Stacking 層、MLP 層和 Scoring 層。
對于類別特征,先利用 Embedding 層進行特征稠密化,再利用 Stacking 層連接其他特征,輸入 MLP (多層神經元網絡),最后用 Scoring 層預估結果。
② 深度學習主要特點
- embedding技術在召回層的應用:embedding,即用一個數值向量來表示一個對象的方法,對于處理稀疏特征有比較重要的應用,其將稀疏高維特征向量轉換為稠密低維特征向量,可以融合大量價值信息。其主要方法有基于文本的Word2Vec, 基于物品的Item2Vec, 基于圖結構(社交關系、知識圖譜、行為關系等)的 deep walk、Node2Vec(增加了隨機過程中跳轉概率的傾向性)等。
- 深度學習模型在排序層的應用:深度學習模型以MLP為基礎結構,embedding+MLP是最經典結合,google在此基礎上提出的Wide&Deep在業界得到了廣泛的應用。
③ 目前主要的衍化方向
- 改變神經網絡的復雜程度。
- 改變特征交叉方式。
- 多種模型組合應用。
- 與其他領域的結合,例如自然語言處理,圖像處理,強化領域等。
來源:王哲-深度學習推薦系統實戰
④ 深度學習模型舉例
- Wide&Deep模型
2016年谷歌發表的Wide&Deep模型與YouTube深度學習推薦模型,引領推薦算法走向了對深度學習的應用。
相比傳統機器學習推薦模型,深度學習具有更加復雜的模型結構,而使其具備了理論上擬合任何函數的能力。同時深度學習的結構靈活性可以讓其模擬出用戶興趣的變遷過程。左側傳統推薦模型與右側深度學習推薦模型對比,其模型復雜度增加:
- DeepFM模型
由FM與深度學習模型的結合生成的DeepFM模型:即FM替換了Wide&Deep的Wide部分,加強了淺層網絡部分特征組合的能力,右邊的部分跟Deep部分一樣,利用多層神經網絡進行特征的深層處理。
- 深度興趣DIN模型
DIN模型為阿里的電商廣告推薦模型,預測其廣告點擊率。它主要利用注意力機制,即通過用戶歷史行為序列,為每一個用戶的歷史購買商品上面加入了激活單元,激活單元相當于一個嵌套在其中的深度學習模型,利用兩個商品的embedding,生成了代表他們關聯程度的注意力權重。
- 深度興趣進化網絡DIEN
彌補DIN沒有對行為序列進行建模的缺點,通過序列層,興趣抽取層,興趣進化層。其中利用序列模型利用商品ID和前一層序列模型的embedding向量,輸出商品embedding與興趣embedding。
5. 重排層策略
(1) EE問題
MBA問題:所有的選擇都要同時考慮尋找最優解以及累計收益最大的問題。
解決方案:Bandit算法,衡量臂的平均收益,收益越大越容易被選擇,以及臂的方差,方差越大越容易被選擇。
常用算法:湯普森采樣算法,UCB算法,Epsilon貪婪算法,LinUCB算法,與協同過濾結合的COFIBA。
(2) 多樣性問題
多樣性問題:
- 多樣性過差:用戶探索不夠,興趣過窄,系統泛化能力以及可持續性變差;流量過于集中在少數item上,系統缺乏活力。
- 多樣性過強:用戶興趣聚焦程度弱;item流量分配平均,對優質item激勵不足。
多樣性解法:
- 根據內容的相關性以及相似性進行打散。
- 保持用戶以及內容探索比例。
- 人工規則控制。
(3) 上下文問題
pointwise排序中,僅考慮item與user之間的相關性,而較少考慮前序item對后續item的影響,主要的解決方案有兩種。
① listwise排序
Pointwise考慮單點目標/Pairwise考慮一個pair/Listwise考慮整個集合的指標。
Listwise 對視頻組合進行transformer建模,刻畫視頻間的相互影響,前序視頻對后續視頻觀看有影響,前后組合決定總收益。
② 強化學習
考慮序列決策,從前向后依次貪心的選擇動作概率最大的視頻。
Reward = f(相關性,多樣性,約束)。
6. 冷啟動
(1) 用戶冷啟
其主要幾個方向為:加強特征與信息的補充、EE問題平衡、實時化加強。
信息補充:
- side information 補充:例如商品類目、領域知識圖譜、第三方公司數據的補充。
- Cross domain:利用共同的用戶在不同地方的數據進行冷啟。
- 用戶填寫興趣。
- 元學習:利用多任務間具有泛化能力的模型,進行少樣本學習(few-shot learning)。
EE探索
快速收斂:
- 主動學習、在線學習、強化學習:快速收集數據,且反饋到特征與模型中。
- 增強模型實時化以及收斂能力。
(2) 內容冷啟
以短視頻推薦為例,平臺常常采用大小池邏輯,對內容進行不同流量的探索,并根據實際的反饋數據來決定內容可以進入的推薦范圍。其中表現優質的內容將不斷的進入更大的流量池中,最終進入推薦池,形成精品召回池。
六、當前發展
(1) 因果與推薦結合
推薦系統中的特征向量和用戶最終的反饋(比如點擊、點贊等)之間的關系是由因果關系和非因果關系共同組成。因果關系是反應物品被用戶偏好的原因,非因果關系僅反應用戶和物品之間的統計相關性,比如曝光模式、公眾觀念、展示位置等。而現有推薦算法缺乏對這兩種關系的區分。
A Model-Agnostic Causal Learning Framework for Recommendation using Search Data。論文提出了一個基于工具變量的模型無關的因果學習框架 IV4Rec,聯合考慮了搜索場景和推薦場景下的用戶行為,利用搜索數據輔助推薦模型。即將用戶的搜索行為作為工具變量,來幫助分解原本推薦中 特征( treatments),使用深度神經網絡將分離的兩個部分結合起來,來完成推薦任務。
(2) 序列/會話推薦
推薦系統傾向于學習每個用戶對物品的長期和靜態的偏好,但一個用戶的所有的歷史交互行為對他當前的偏好并非同等重要,用戶的短期偏好和跟時間相關的上下文場景所包含的信息更加實時也更加靈敏?;跁挼耐扑]系統從一個用戶的最近產生的會話中捕獲他的短期偏好,以及利用會話和會話間的偏好變化,進行更精準和實時推薦。
TKDE 2022 | Disentangled Graph Neural Networks for Session-based Recommendation。用戶選擇某個物品的意圖是由該物品的某些因素驅動的,本文的方法建模了這種細粒度的的興趣來生成高質量的會話嵌入。
(3) 圖神經網絡與推薦結合
大部分的信息本質上都是圖結構,GNN能夠自然地整合節點屬性信息和拓撲結構信息,來減少特征處理中的信息折損。
ICDE 2021 | Multi-Behavior Enhanced Recommendation with Cross-Interaction Collaborative Relation Modeling。利用圖神經網絡建模Multi-Behavior 推薦。
(4) 知識圖譜與推薦結合
先驗的知識圖譜可以對推薦系統進行很好的信息補充和信息約束,特別是在數據較為稀疏的場景下。(1)知識圖譜中的結構化知識可以在冷啟動場景中提供更多的信息。(2)對于數據稀疏,方差過大的情況下,增加有效約束。(3)先驗知識糾正數據偏差。(4)增強推薦算法可解釋性。
Conditional Graph Attention Networks for Distilling and Refining Knowledge Graphs in Recommendation 由于知識圖譜的泛化性和規模性,大多數知識關系對目標用戶-物品預測沒有幫助。為了利用知識圖譜來捕獲推薦系統中特定目標的知識關系,需要對知識圖譜進行提取以保留有用信息,并對知識進行提煉以捕獲更準確的用戶偏好。這篇文章提出了Knowledge-aware Conditional Attention Networks(KGAN)網絡,對于給定target(即用戶-物品對),基于知識感知的注意力自動從全局的知識圖譜中提取出特定于target的子圖。通過在子圖上應用條件注意力機制進行鄰居聚合,以此實現對知識圖譜的細化,進而獲得特定target的節點表示。
(5) 強化學習
與傳統推薦算法不同,其主要描述和解決智能體在與環境的交互過程中通過學習策略以達成回報最大化或實現特定目標的問題。
CIKM 2021 | Supervised Advantage Actor-Critic for Recommender Systems。現有的RL+(self-)supervised sequential learning方式由于缺乏負獎勵信號,q值的估計往往偏向于正值。此外,q值還嚴重依賴于序列的特定時間戳。本文提出負采樣策略來訓練RL分量,并將其與有監督序列學習相結合。
(6) 多模態內容推薦
短視頻推薦業務中,涉及的上下文信息包含圖像,語音,文本,社交網絡,知識圖譜,將不同的上下文特征進行融合。
Arxiv 2021 | MultiHead MultiModal Deep Interest Recommendation Network。在DIN模型的基礎上,增加了多頭多模態模塊(MultiHead MultiModal),豐富了模型可以使用的特征集,同時增強了模型的交叉組合和擬合能力。
(7) 對話系統:主要分為兩種方向(1)通過NLP的方式來構建對話機器人。(2)交互式的意圖挖掘,利用用戶少量交互行為,快速得到用戶偏好以完成推薦任務。
部分內容來源:推薦與廣告最新論文追蹤 https://www.zhihu.com/column/c_1410364359926906880
七. 算法衡量標準
1. 指標選擇
- 硬指標:對于大多數的平臺而言,推薦系統最重要的作用是提升一些“硬指標”。例如新聞推薦中的點擊率,但是如果單純以點擊率提升為目標,最后容易成為一些低俗內容,“標題黨”的天下。
- 軟指標:除了“硬指標”,推薦系統還需要很多“軟指標”以及“反向指標”來衡量除了點擊等之外的價值。好的推薦系統能夠擴展用戶的視野,發現那些他們感興趣,但是不會主動獲取的內容。同時推薦系統還可以幫助平臺挖掘被埋沒的優質長尾內容,介紹給感興趣的用戶。
2. 推薦效果
如何去獲得推薦效果??梢苑譃殡x線實驗、用戶調查、在線實驗三種方法。
- 離線效果:通過反復在數據樣本進行實驗來獲得算法的效果。通常這種方法比較簡單、明確。但是由于數據是離線的,基于過去的歷史數據,不能夠真實的反應線上效果。同時需要通過時間窗口的滾動來保證模型的客觀性和普適性。
- 白板測試:當在離線實驗階段得到了一個比較不錯的預測結果之后,就需要將推薦的結果拿到更加真實的環境中進行測評,如果這個時候將算法直接上線,會面臨較高的風險。因為推薦結果的好壞不能僅僅從離線的數字指標衡量,更要關注用戶體驗,所以可以通過小范圍的反復白板測試,獲得自己和周圍的人對于推薦結果的直觀反饋,進行優化。
- 在線測試(AB test):實踐是檢驗真理的唯一標準,在推薦系統的優化過程中,在線測試是最貼近現實、最重要的反饋方式。通過AB測試的方式,可以衡量算法與其他方法、算法與算法之間的效果差異。
八. 除了算法本身之外...
1. 推薦算法是否會導致信息不平等和信息繭房?
推薦系統并非導致信息不平等和信息繭房的根本原因。
- 內容的不平等或許更多的產生于用戶天性本身,而推薦算法的作用更像是幫助用戶“訂閱”了不同的內容。用戶天然的會對信息產生篩選,并集中在自己的興趣領域。在過去雜志訂閱的階段,雖然每個雜志和報紙的內容都是完全相同的,但是用戶通過訂閱不同的雜志實際接受到了完全不同的消息。而今天的內容APP提供了各種話題,各種類型的內容,但用戶通過推薦算法,在無意識的情況下“訂閱”了不同的“雜志”。
- 人們更加集中于垂直的喜好是不可逆轉的趨勢。從內容供給的角度來講,從內容的匱乏到繁榮,從中心化到垂直聚群,用戶的選擇更貼近自己的喜好是不可逆轉的趨勢。在沒有提供太多選項的時候,人們會更多的集中在某幾個內容上面,而當今天層出不窮的內容出現,人們開始追逐更加個性化,精細化的內容。
但不可否認的是,推薦系統的便捷性、自動化、實時性會加重這些問題。在這樣的情況下,我們能做些什么?
- 產品價值與數據指標的平衡:推薦算法是對短期數據指標的高度擬合,一定階段后會發現對推薦系統的人工干擾往往會造成負向的指標波動。但推薦算法往往只能帶來短期的局部最優解。產品仍需要從本質出發,來看待產品給用戶帶來的本質價值。對產品方向的判斷、以及對產品價值的堅持才是產品尋找全局最優解的方式。
2. 算法可能產生的蝴蝶效應
在很多場景中,并非只有機器算法一種推薦方式。以視頻號為例,除公域機器推薦外,也存在私域(朋友圈、群聊、單聊)、半公域(朋友tab社交推薦)等推薦方式,但推薦對整個產品體驗、內容生態、作者生態的影響都是巨大的。
(1) 推薦算法對feed傳播的影響
從feed傳播來看,推薦算法給予其冷啟流量,提升傳播速率,利于其對抗時間衰減,快速達到社交裂變拐點,進而大規模傳播
(圖中曲線均為模擬,非真實曲線,僅供示例)
一個feed在傳播過程中,主要影響因素有:
- feed特性:優質度、傳播性、普適性,這三點決定其傳播速度、傳播穩定性以及天花板。
- feed發表時間:feed與時間的“對抗性”。因為(1)feed無法重復消費且一段時間內目標受眾有限(2)由于環境背景、文化潮流、熱點等feed具有一定時效性(3)不確定性,時間越長影響其傳播的因素越多,受眾的注意力發生轉移的可能越大。
熱門對頭部內容的最重要影響集中在冷啟期、拐點期與加速時期。在前幾個小時的冷啟動時期,社交推薦無法達到其裂變點,對其傳播的效果影響非常有限。feed要對抗漫長的時間影響來達到裂變點,對feed本身質量要求非常高。而通過熱門的傳播可以直接給到較大的冷啟量,以及更快的傳播速度、在feed受時間影響衰退前迎來社交裂變拐點,社交傳播開始作為主場景進行下一輪傳播。(社交推薦具有積累慢,但達到拐點可進行網絡裂變傳播,速度快、衰減慢。因此頭部feed在視頻號同時享受算法推薦早期爆發性強,熱度積累快,又享受社交推薦,傳播范圍大、熱度衰減慢的雙重優勢。)
(2) 推薦算法對平臺的影響
① 推薦算法作為最初的內容篩選器,對視頻號的內容分布以及產品體驗有較大影響
推薦算法對feed的影響是巨大的,若無法被推薦算法識別,其獲得較高熱度的可能性較低,最終導致產品的流量主要集中在被推薦算法識別并推薦的feed上。其短期內對內容生態、瀏覽者體驗有較為重要的決定作用;長期來看,對內容氛圍、作者反饋、瀏覽者長期留存都有較大的影響。
② 推薦算法的影響需要進行全局評估,而非局部評估
每個場景具有不同的特點,可能存在某類內容(或比例)更適合推薦場景而不適合社交場景,在達到推薦場景最優后傳導進入其他場景,導致其他場景該類內容過少或過多。例如某類內容在一定比例下,推薦場景有收益,而社交場景收益為負。在此類情況下,當該類內容在熱門達到最優比例后傳到進入社交場景,在社交場景會而產生負向影響,僅評估推薦場景將無法衡量其對產品的整體效果。
黃色曲線為推薦場景、藍色為社交傳播場景