作者 | 汪昊

審校 | 重樓

推薦系統(tǒng)誕生于1992 年的一篇論文。自推薦系統(tǒng)誕生以來，無數(shù)的科學(xué)家和工程師為這一領(lǐng)域傾注了心血。在過去32 年里，許多大學(xué)成立了研究推薦系統(tǒng)的研究組（比如科羅拉多大學(xué)的THAT 組），而各種各樣的公司（百度、字節(jié)跳動等）也充分利用了推薦系統(tǒng)的獲客屬性，實現(xiàn)了低成本高收益的引流渠道。據(jù)報道，推薦系統(tǒng)能夠幫助大型網(wǎng)站實現(xiàn)30% 到40% 的流量提升。據(jù)咨詢公司Modor Intelligence 預(yù)測, 2024 年推薦系統(tǒng)的世界市場份額會達(dá)到500 億元人民幣以上。

目前，全世界推薦引擎增長最快的地區(qū)是亞太地區(qū)，而推薦系統(tǒng)的主要玩家都是大規(guī)模的云計算公司和老牌巨頭企業(yè)。在過去幾年中，沒有哪家創(chuàng)業(yè)公司能夠快速發(fā)展，吃掉大公司的市場份額。因此，我們可以初步認(rèn)為，推薦系統(tǒng)在全球范圍內(nèi)的發(fā)展已經(jīng)進(jìn)入了穩(wěn)定期。

2017 年以來，越來越多的專家關(guān)注到了推薦系統(tǒng)算法性能之外的問題，特別是推薦系統(tǒng)的公平性。然而有一個非常棘手的問題，推薦專家們一直沒能很好的解決。那就是推薦系統(tǒng)的冷啟動問題。在沒有數(shù)據(jù)的情況下，我們該怎么解決推薦的難題？為了介紹相關(guān)知識，我們先介紹一下零樣本學(xué)習(xí)的發(fā)展歷程。零樣本學(xué)習(xí)發(fā)端自21 世紀(jì)的頭十年，然而過去20 年的零樣本算法，基本都需要遷移學(xué)習(xí)或者元學(xué)習(xí)，沒有一個算法能成為真正的零樣本學(xué)習(xí)。這一狀況一直等到了2021 年ZeroMat 被發(fā)明出來后才得以改變（ZeroMat 的源代碼地址：https://github.com/haow85/ZeroMat），后續(xù)陸陸續(xù)續(xù)有新的零樣本算法出現(xiàn)，讓人們意識到即便不使用任何數(shù)據(jù)，我們也可以把推薦做的很好。

2023 年 Ratidar Technologies LLC 公司 （公司官網(wǎng)：http://ratidar.mysxl.cn）推出了一款不需要數(shù)據(jù)的推薦系統(tǒng)算法 LogitMat（論文下載地址：https://arxiv.org/ftp/arxiv/papers/2307/2307.05680.pdf）。該算法利用了邏輯回歸和矩陣分解結(jié)合的方式，在不使用輸入數(shù)據(jù)的情況下，完美地完成了推薦的任務(wù)。下面我們來看一下這個算法的細(xì)節(jié)：

上面這個公式是矩陣分解的損失函數(shù)。簡單來說，就是我們需要計算出用戶特征向量 U 和物品特征向量V, 以便使得他們的點乘和用戶評分的差值最小。可以看出來，矩陣分解算法本質(zhì)上是一個降維算法。我們利用向量點乘將用戶評分矩陣的O(mn) 空間復(fù)雜度降為 O(k(m+n))，其中m 是用戶數(shù)、n 是物品數(shù)、k 是向量長度。通常k 遠(yuǎn)小于m 或 n ，因此矩陣分解算法有效的降低了算法的空間復(fù)雜度。

我們發(fā)現(xiàn)電影評分服從冪律分布，因此我們可以用評分值本身來替換評分的分布。如果我們用邏輯回歸來表示評分的分布，也就等價于用邏輯回歸來計算評分值。我們得到下面的公式：

其中 U 和 V 就是矩陣分解中的 U 和 V，而 W 和Z 是系數(shù)。的值就是下標(biāo)I 本身。那么我們把這個公式帶入到矩陣分解的損失函數(shù)公式中去，得到下面的損失函數(shù)公式：

利用隨機梯度下降對該損失函數(shù)求導(dǎo)。我們得到了如下的公式：

雖然公式看起來非常復(fù)雜，但其實實現(xiàn)起來只需要比對公式正常輸入就可以，因此實現(xiàn)難度并不大。

LogitMat 的發(fā)明人隨后在MovieLens 1 Million Dataset 和 LDOS-CoMoDa Dataset 兩個不同的數(shù)據(jù)集合上驗證了該算法的準(zhǔn)確率和公平性。MovieLens 1 Million Dataset 由6040 名用戶和3952 部電影的評分組成，而LDOS-CoMoDa Dataset 是個更小的數(shù)據(jù)集合。作者在測評準(zhǔn)確率的時候使用了MAE 指標(biāo)。之所以作者使用 MAE 指標(biāo)，是因為該指標(biāo)歷史最為悠久，能夠和海量論文實驗數(shù)據(jù)作對比。而在測評公評性的時候，作者采用了 Degree of Matthew Effect。

實驗結(jié)果如下：

上圖顯示了LogitMat 和4 種零樣本學(xué)習(xí)，2 種排序?qū)W習(xí)和經(jīng)典的矩陣分解算法的對比效果，LogitMat 取得了第2 名的好成績。

上圖顯示了算法在 LDOS-CoMoDal 數(shù)據(jù)集合上的測評結(jié)果。同樣的，LogitMat 算法的效果非常理想，讓人拍案叫絕。

LogitMat 是不需要數(shù)據(jù)的推薦系統(tǒng)算法，因為在算法的求解過程中沒有出現(xiàn)評分矩陣的評分值 R。利用這個思路，我們可以設(shè)計出許多新的零樣本學(xué)習(xí)算法。這一切聽上去似乎非常可怕——我們可以不利用任何數(shù)據(jù)預(yù)測我們喜歡什么電影。而這并不需要花多少的計算資源就可以實現(xiàn)。事實上，我只要有一臺 2024 年的手提電腦就可以預(yù)測成千上萬人的興趣愛好。

需要注意的是，我們只需要修改 W 和 Z ，把他們改成更為復(fù)雜的形式，就可以把 LogitMat 變?yōu)樯疃葘W(xué)習(xí)模型。基于深度學(xué)習(xí)的零樣本學(xué)習(xí)算法，其實離我們也并不太遙遠(yuǎn)了。也許有一天，我們會發(fā)現(xiàn)，所謂的推薦系統(tǒng)和評分體系不過是一場人類歷史上的美麗誤會。僅僅因為我們跑的太快，我們忘了自己的數(shù)學(xué)根基并不牢靠。或許，推薦系統(tǒng)有著我們長久忽略的社會學(xué)意義，就像下面這篇論文中描述的：Human Culture: A History Irrelevant and Predictable Experience （論文下載地址：https://arxiv.org/ftp/arxiv/papers/2307/2307.13882.pdf），人類的文化因為冪律現(xiàn)象和時間無關(guān)現(xiàn)象被鎖死了。

作者簡介

汪昊，前 Funplus 人工智能實驗室負(fù)責(zé)人。曾在 ThoughtWorks、豆瓣、百度、新浪等公司擔(dān)任技術(shù)和技術(shù)高管職務(wù)。在互聯(lián)網(wǎng)公司和金融科技、游戲等公司任職 13 年，對于人工智能、計算機圖形學(xué)和區(qū)塊鏈等領(lǐng)域有著深刻的見解和豐富的經(jīng)驗。在國際學(xué)術(shù)會議和期刊發(fā)表論文 42 篇，獲得IEEE SMI 2008 最佳論文獎、ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023 / ICSIM 2024最佳論文報告獎。