除了今日頭條,文本推薦還有五大成功應用案例
原創文本推薦作為推薦系統的一個應用場景,有著成功的商業化落地實踐。最為大家熟知的文本推薦系統是今日頭條的新聞推薦。其他的新聞門戶網站例如騰迅新聞和網易新聞,也都將文本推薦作為自己產品不可分割的一部分。
文本推薦不僅可以用來進行新聞推薦,也可以用來支持其他產品例如問答推薦。國外有一些公司的主要業務甚至就是文本推薦,比如有一家名為 Outbrain 的公司,專門為各大網站提供文本推薦服務。
下面我們按照時間發展脈絡來看五個文本推薦的成功應用案例。
一、Google 新聞推薦系統
2010 年 Jiahui Liu 等人發表的論文 Personalized News Recommendation based on Click Behavior 是文本推薦領域的經典之作。作者用非常簡單的方式設計了 Google 新聞推薦系統。該系統采用的方法是簡單的協同過濾和 SVD 分解,外加對于用戶個人和群體喜好的歷史統計信息。這種方式一方面解決了推薦本身這個問題,另一方面解決了新聞中存在的馬太效應問題。
二、紐約時報推薦系統
紐約時報的推薦系統源于普林斯頓大學和微軟的研究人員對于文本推薦的研究工作。2011 年 Chong Wang 等人在論文 Collaborative Topic Modeling for Recommending Scientific Articles提出了 Collaborative Topic Regression 模型。該模型結合了協同過濾和主題模型,概率圖模型如圖1所示。
圖 1. Collaborative Topic Regression 概率圖模型
Collaborative Topic Regression 及其后續的研發工作成就了紐約時報的新聞推薦系統。
三、百度知道問答推薦系統
2012 年和 2014 年百度分別在 ACM RecSys 和 ACM SAC 上發表了兩篇論文,描述了百度知道問答推薦系統是如何構建的。百度知道的推薦系統采用了混合模型,結合了線性模型和非線性模型,利用了自然語言處理中關鍵詞提取等技術。
圖2. 百度知道問答推薦系統架構
百度知道問答推薦系統的關鍵是線性模型的特征工程以及自然語言處理的相關技術。
四、協同深度學習
2015 年 Hao Wang 等人在數據挖掘的頂級會議 KDD 上發表了文章 Collaborative Deep Learning for Recommender Systems。作者結合了協同過濾和 stacked denoising autoencoder 設計了文本推薦的混合模型。混合模型的概率圖模型如圖2所示。
圖2. 協同深度學習的概率圖模型
五、基于 GRU 的深度文本模型
2016 年 Trapit Bansal 等人在 ACM RecSys 會議上發表論文 Ask the GRU: Multi-task Learning for Deep Text Recommendations,提出了基于 GRU 的文本推薦模型(如圖3所示)。
圖3. 基于 GRU文本推薦模型的深度神經網絡結構
文本推薦是推薦系統的一個重要分支,采用了豐富的機器學習和自然語言處理技術,被廣泛應用于新聞和問答等領域。近年來隨著深度學習的崛起,人工智能的新技術也對文本推薦的發展起到了推波助瀾的作用。
隨著今日頭條的發展壯大,許多新聞媒體網站也意識到了文本推薦的重要性,百度、騰訊、網易等公司都在相關領域加大了人力物力的投入。隨著產品的創新和技術的進步,文本推薦將會給我們的生活帶來更多的驚喜和便利。
汪昊,恒昌利通大數據部負責人,美國猶他大學碩士,在百度,新浪,網易,豆瓣等公司有多年的研發和技術管理經驗,擅長機器學習,大數據,推薦系統,社交網絡分析,計算機圖形學,可視化等技術。在 TVCG 和 ASONAM 等國際會議和期刊發表論文 5 篇。本科畢業論文獲國際會議 IEEE SMI 2008 最佳論文獎。