本文中，知乎聯(lián)合清華大學(xué)對(duì)外開(kāi)放基于知乎的大規(guī)模富文本查詢(xún)和推薦數(shù)據(jù)集ZhihuRec。該數(shù)據(jù)集中的曝光數(shù)接近 1 億，并具有目前為止最豐富的上下文信息，覆蓋 10 天、79.8 萬(wàn)用戶(hù)、16.5 萬(wàn)個(gè)問(wèn)題、55.4 萬(wàn)個(gè)回答、24 萬(wàn)個(gè)作者、7 萬(wàn)話(huà)題以及 50.1 萬(wàn)用戶(hù)搜索行為日志。它可以被用于各種推薦方法，如協(xié)同過(guò)濾、基于內(nèi)容的推薦、基于序列的推薦、知識(shí)增強(qiáng)的推薦和混合推薦等。此外，由于 ZhihuRec 數(shù)據(jù)集中信息豐富，不僅可以將它應(yīng)用于推薦研究，還可以將它應(yīng)用于用戶(hù)建模（如性別預(yù)測(cè)、用戶(hù)興趣預(yù)測(cè)）、跨平臺(tái)應(yīng)用（查詢(xún)平臺(tái)和推薦平臺(tái)）等有趣的課題。據(jù)了解，這是用于個(gè)性化推薦的最大的實(shí)際交互數(shù)據(jù)集。

總結(jié)來(lái)說(shuō) ZhihuRec 數(shù)據(jù)集主要具有三個(gè)優(yōu)點(diǎn)：

1. ZhihuRec 是最大的公共推薦數(shù)據(jù)集，包含從知乎收集的各種用戶(hù)交互，該數(shù)據(jù)集是開(kāi)源的。
2. ZhihuRec 數(shù)據(jù)集提供了豐富的內(nèi)容信息，包括問(wèn)題、回答、個(gè)人資料、話(huà)題。特別是用戶(hù)的搜索日志也會(huì)顯示出來(lái)，這些以前沒(méi)有包含過(guò)。
3. 除 top-N 推薦、上下文感知推薦等推薦研究外，ZhihuRec 還可用于各種研究領(lǐng)域，例如用戶(hù)建模、集成搜索和推薦研究。

• 論文地址：https://arxiv.org/pdf/2106.06467.pdf
• 數(shù)據(jù)集地址：https://github.com/THUIR/ZhihuRec-Dataset

數(shù)據(jù)集簡(jiǎn)介

下表 1 展示了 ZhihuRec 與其他一些經(jīng)典推薦數(shù)據(jù)集之間的差異，結(jié)果表明，ZhihuRec 數(shù)據(jù)集比傳統(tǒng)推薦數(shù)據(jù)集包含更多的信息和類(lèi)型，如文本、用戶(hù)畫(huà)像、物品屬性、時(shí)間戳等。

表格中 O 表示 ZhihuRec 數(shù)據(jù)集中雖然沒(méi)有記錄用戶(hù)具體的評(píng)分 / 收藏行為，但是記錄了用戶(hù)的收藏回答總量。

下圖給出了 ZhihuRec 數(shù)據(jù)集的構(gòu)建過(guò)程，可以看出數(shù)據(jù)集包含的上下文信息有用戶(hù)對(duì)回答的點(diǎn)擊和瀏覽行為日志、用戶(hù)查詢(xún)?cè)~記錄、用戶(hù)畫(huà)像信息、答案屬性信息、問(wèn)題屬性信息、作者畫(huà)像信息和話(huà)題屬性等各類(lèi)信息，以及每個(gè)用戶(hù)最多 20 個(gè)最近查詢(xún)關(guān)鍵詞。

表 2 顯示了 ZhihuRec 中每個(gè)印象記錄的字段及其說(shuō)明。根據(jù)答案的讀取時(shí)間，所有用戶(hù)的點(diǎn)擊和未點(diǎn)擊的印象都記錄在數(shù)據(jù)集中。

表 3 顯示了 ZhihuRec 數(shù)據(jù)集中的每個(gè)搜索記錄的字段及其說(shuō)明。所有用戶(hù)的搜索關(guān)鍵字和時(shí)間戳都記錄在數(shù)據(jù)集中。

由于 ZhihuRec 數(shù)據(jù)集包含約 1 億個(gè)用戶(hù) - 答案交互，因此也稱(chēng)為 Zhihu100M。此外，還構(gòu)造了兩個(gè)從 Zhihu100M 數(shù)據(jù)集中隨機(jī)抽取的較小數(shù)據(jù)集，稱(chēng)為 Zhihu20M 和 Zhihu1M，以滿(mǎn)足各種應(yīng)用需求。它們包含大約 2000 萬(wàn)和 1M 的用戶(hù)答案日志，可以將其視為中等大小的數(shù)據(jù)集和相對(duì)較小的數(shù)據(jù)集。表 4 中顯示了它們的一些統(tǒng)計(jì)信息。

用戶(hù)畫(huà)像和屬性都記錄在 ZhihuRec 中。該數(shù)據(jù)集保留用戶(hù)、問(wèn)題、回答和作者的內(nèi)容信息。表 5 顯示了用戶(hù)的屬性，表 6 顯示了回答的屬性，表 7 顯示了問(wèn)題的屬性，表 8 顯示了作者的屬性。

如表中所示，關(guān)于用戶(hù)、問(wèn)題、回答和作者的功能十分豐富，可以對(duì)用戶(hù)和內(nèi)容（回答）進(jìn)行全面建模。問(wèn)題屬性中沒(méi)有 authorID，原因是隨著時(shí)間的推移，許多人可以修改知乎問(wèn)答社區(qū)中的問(wèn)題。

請(qǐng)注意，authorID 與 userID 是不同的，這意味著如果一個(gè)人在數(shù)據(jù)集中同時(shí)扮演用戶(hù)和作者的角色，則其 authorID 和 userID 是不同的，因?yàn)榘l(fā)布者和閱讀者是不同的角色。

每個(gè)用戶(hù)或問(wèn)題還具有幾個(gè)話(huà)題（從 0 到 70,308），由用戶(hù)本人（用戶(hù)話(huà)題）或系統(tǒng)用戶(hù)（問(wèn)題話(huà)題，所有用戶(hù)都可以對(duì)其進(jìn)行編輯）標(biāo)記。它提供了一種更明確的方式來(lái)幫助了解用戶(hù)的興趣和問(wèn)題的類(lèi)型，這對(duì)于推薦也很有用。每個(gè)話(huà)題都有一個(gè)話(huà)題 ID 和話(huà)題描述作為其屬性，話(huà)題 ID 進(jìn)行了散列處理，并且話(huà)題描述中的所有上下文都已轉(zhuǎn)換為數(shù)字編號(hào)。

數(shù)據(jù)集隱私保護(hù)

由于整個(gè)數(shù)據(jù)集都是從真實(shí)場(chǎng)景中的真實(shí)用戶(hù)那里收集的，因此有必要保護(hù)用戶(hù)隱私。因此，并非用戶(hù)的所有內(nèi)容信息都被釋放。

ZhihuRec 數(shù)據(jù)集中的所有 ID 均被匿名和散列處理。所有文本信息（例如問(wèn)題的標(biāo)題、回答的內(nèi)容、話(huà)題的描述和搜索關(guān)鍵字）均被分解為單詞，并且所有單詞均被數(shù)字替換。用戶(hù)畫(huà)像中的所有文本功能（例如性別、注冊(cè)類(lèi)型、登錄頻率、省、城市）也都已轉(zhuǎn)換為數(shù)字號(hào)碼。因此，無(wú)法從 ZhihuRec 數(shù)據(jù)集中獲取用戶(hù)個(gè)人資料和內(nèi)容屬性的詳細(xì)信息。

ZhihuRec 數(shù)據(jù)集刪除了用戶(hù)的出生日期、工作經(jīng)歷、教育經(jīng)歷等敏感信息。用戶(hù)的網(wǎng)絡(luò)信息 (如 IP 地址) 也已被刪除。用戶(hù)對(duì)回答的顯式反饋如贊同、感謝、收藏、評(píng)論、反對(duì)和舉報(bào)等都被隱藏，ZhihuRec 數(shù)據(jù)集只保存了相關(guān)的總的統(tǒng)計(jì)量，如用戶(hù)總的贊同數(shù)、收藏?cái)?shù)、評(píng)論數(shù)、反對(duì)數(shù)和舉報(bào)數(shù)等。

數(shù)據(jù)集統(tǒng)計(jì)特性

圖 2 顯示了用戶(hù)注冊(cè)時(shí)間的分布；可以發(fā)現(xiàn)，隨著時(shí)間的推移，每月注冊(cè)用戶(hù)的數(shù)量逐漸增加。

圖 3 顯示了每個(gè)話(huà)題的用戶(hù)分布數(shù)：

圖 4 顯示了每個(gè)話(huà)題下的問(wèn)題分布數(shù)：

圖 5 顯示了每個(gè)話(huà)題下的回答分布數(shù)。它顯示大多數(shù)用戶(hù)關(guān)注的話(huà)題少于 100 個(gè)，大多數(shù)回答和問(wèn)題綁定不止一個(gè)話(huà)題。

圖 6 顯示了 ZhihuRec 數(shù)據(jù)集中每個(gè)搜索的用戶(hù)分布數(shù)量。大多數(shù)用戶(hù)的搜索少于 3 個(gè)，并且分布顯示出類(lèi)似對(duì)數(shù)的衰減。但是，有許多用戶(hù)有 20 個(gè)搜索，原因是研究者在此處進(jìn)行了截?cái)啵ㄗ疃鄬⒈Ａ粼撚脩?hù)的 20 個(gè)最近搜索關(guān)鍵字）。

數(shù)據(jù)集在多項(xiàng)推薦任務(wù)中的應(yīng)用

topN 推薦

用戶(hù)的交互日志包含在 ZhihuRec 數(shù)據(jù)集中；從推薦系統(tǒng)的角度來(lái)看，可以將用戶(hù)在日志中交互的回答視為商品。該信息適用于協(xié)同過(guò)濾，其中包含通用的 topN 推薦的主要方法。為了評(píng)估 ZhihuRec 數(shù)據(jù)集的性能，在 Zhihu1M 數(shù)據(jù)集中應(yīng)用了 5 種推薦算法。

• Pop：此基準(zhǔn)始終會(huì)推薦訓(xùn)練集中最受歡迎的回答（用戶(hù)點(diǎn)擊）。
• ItemKNN：此方法選擇前 K 個(gè)最近鄰，并使用其信息進(jìn)行預(yù)測(cè)。
• BPR：此方法應(yīng)用貝葉斯個(gè)性化排名目標(biāo)函數(shù)來(lái)優(yōu)化矩陣分解。
• LightGCN：此方法使用圖卷積網(wǎng)絡(luò)來(lái)增強(qiáng)協(xié)同過(guò)濾的性能。
• ENMF：使用高效神經(jīng)矩陣分解的非采樣神經(jīng)網(wǎng)絡(luò)推薦模型。

實(shí)驗(yàn)已使用 RecBole 完成。對(duì)于所有方法，用戶(hù)和回答的 embedding 大小為 64。ItemKNN 的鄰居數(shù)為 100。采用留一法（Leave-one-out）。實(shí)驗(yàn)結(jié)果如表 9 所示：

序列推薦

序列推薦在改善許多推薦任務(wù)的性能方面起著重要作用，因?yàn)樗鼈兛梢越沂居脩?hù)的動(dòng)態(tài)偏好，這也是前 N 個(gè)推薦。通常，序列推薦與傳統(tǒng)推薦之間的區(qū)別在于序列推薦需要清晰的時(shí)間信息。它使用用戶(hù)交互的商品序列作為輸入，并根據(jù)交互時(shí)間戳對(duì)商品進(jìn)行排序。推薦系統(tǒng)中對(duì)商品的展示也有排序。由于所有用戶(hù)的交互都記錄在 ZhihuRec 數(shù)據(jù)集中，因此本文已在 Zhihu1M 數(shù)據(jù)集中應(yīng)用了四個(gè)最新的序列模型（FPMC 、GRU4Rec、NARM 、SASRec）。

• FPMC：此方法基于基礎(chǔ)馬爾可夫鏈上的個(gè)性化過(guò)渡圖，并結(jié)合了 MF。
• GRU4Rec：基于會(huì)話(huà)的模型，使用 RNN 捕獲序列依賴(lài)關(guān)系并進(jìn)行預(yù)測(cè)。
• NARM：此方法使用具有注意力機(jī)制的混合編碼器來(lái)捕獲用戶(hù)的意圖。
• SASRec：采用自注意力層來(lái)捕獲動(dòng)態(tài)用戶(hù)交互序列的順序模型。

實(shí)驗(yàn)已使用 RecBole 完成。對(duì)于所有方法，用戶(hù)和回答的 embedding 大小為 64。使用留一法。實(shí)驗(yàn)結(jié)果如表 10 所示：

上下文感知推薦

上下文感知推薦模型使用來(lái)自用戶(hù)、商品和上下文來(lái)增強(qiáng)模型性能。上下文感知推薦結(jié)合了不同推薦模型的優(yōu)勢(shì)，例如協(xié)同過(guò)濾，基于內(nèi)容的模型以獲得更好的推薦；該數(shù)據(jù)集非常適合上下文感知推薦。如點(diǎn)擊預(yù)測(cè)任務(wù)中通常描述的那樣，一個(gè)用戶(hù)點(diǎn)擊一個(gè)回答的交互標(biāo)記為 1，而該用戶(hù)有被展示但不點(diǎn)擊一個(gè)回答的交互標(biāo)記為 0。本文在 Zhihu1M 數(shù)據(jù)集中應(yīng)用了 4 個(gè)最新的上下文感知模型。

• Wide＆Deep ：由 Google 提出，它結(jié)合了深度神經(jīng)網(wǎng)絡(luò)和線(xiàn)性模型，并廣泛用于實(shí)際場(chǎng)景中。
• NFM ：使用雙向交互層對(duì)二階特征交互進(jìn)行建模的神經(jīng)模型。
• ACCM：這是一個(gè)注意力協(xié)同和內(nèi)容模型，它將內(nèi)容和用戶(hù)交互結(jié)合在一起。
• CC-CC：此方法使用自適應(yīng) “特征采樣” 策略。

實(shí)驗(yàn)已使用 CC-CC 工具箱完成。所有方法的用戶(hù)和回答的 embedding 大小為 64。對(duì)于每個(gè)用戶(hù)，最后一次點(diǎn)擊和最后一次點(diǎn)擊之后的展示均被視為測(cè)試集，最后一次點(diǎn)擊之前的點(diǎn)擊以及最后一次點(diǎn)擊之前的點(diǎn)擊和最后一次點(diǎn)擊之間發(fā)生的展示被視為驗(yàn)證集，其他被視為訓(xùn)練集。實(shí)驗(yàn)結(jié)果如表 11 所示：

跨場(chǎng)景推薦

如上所述，用戶(hù)的搜索關(guān)鍵字也包含在 ZhihuRec 數(shù)據(jù)集中；搜索使用的關(guān)鍵詞可以視為其明確的需求信息。雖然以前的推薦系統(tǒng)的研究主要集中于從用戶(hù)的隱式反饋中學(xué)習(xí)，但如果更多的研究人員嘗試整合搜索和推薦，將很有幫助，這將有助于更好地了解用戶(hù)的信息需求并提供更好的信息服務(wù)。該數(shù)據(jù)集由于其豐富的搜索和推薦日志可以應(yīng)用于此類(lèi)研究。

基于負(fù)反饋的推薦

當(dāng)用戶(hù)與回答進(jìn)行交互時(shí)，他們會(huì)給答案以正反饋和負(fù)反饋。正面反饋是指用戶(hù)對(duì)回答進(jìn)行點(diǎn)擊、收藏、點(diǎn)贊等。負(fù)反饋則是用戶(hù)刪除、跳過(guò)回答等。傳統(tǒng)的推薦數(shù)據(jù)集存在缺乏負(fù)反饋問(wèn)題。ZhihuRec 數(shù)據(jù)集同時(shí)記錄了用戶(hù)的正反饋和負(fù)反饋。利用用戶(hù)的負(fù)向偏好可以提高推薦質(zhì)量，該數(shù)據(jù)集適用于基于負(fù)反饋的推薦模型。

由于 ZhihuRec 數(shù)據(jù)集具備了豐富的上下文信息，它還可以被用在推薦之外的任務(wù)上，例如識(shí)別最有價(jià)值的回答者、識(shí)別優(yōu)質(zhì)回答等。

結(jié)論

本文介紹了來(lái)自在線(xiàn)知識(shí)共享社區(qū)的一個(gè)新數(shù)據(jù)集，旨在為個(gè)性化推薦做出貢獻(xiàn)。據(jù)了解，這是一個(gè)包含詳細(xì)信息的最大的公開(kāi)數(shù)據(jù)集，包括用戶(hù)、內(nèi)容、行為、作者、話(huà)題以及包含搜索和對(duì)推薦結(jié)果是否點(diǎn)擊的用戶(hù)交互日志。該研究呈現(xiàn)了有關(guān)最新算法在該數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。該數(shù)據(jù)集可用于以下方面的研究：上下文感知推薦、序列推薦、利用負(fù)反饋的推薦、集成搜索和推薦以及用戶(hù)畫(huà)像和內(nèi)容屬性的建模。該數(shù)據(jù)集是公開(kāi)可用的，并且在交互日志和搜索關(guān)鍵字中包含大量信息，適合跨平臺(tái)研究。