KDD2024最佳學生論文解讀，中科大、華為諾亞：序列推薦新范式DR4SR

作者：機器之心 2024-09-02 08:22:00

近年來，研究者為了增強序列推薦系統的能力，已經付出了大量努力。這些方法通常遵循以模型為中心（Model-centric）的范式，即基于固定數據集開發有效的模型。

本工作由認知智能全國重點實驗室 IEEE Fellow 陳恩紅團隊與華為諾亞方舟實驗室完成。陳恩紅教授團隊深耕數據挖掘、機器學習領域，在頂級期刊與會議上發表多篇論文，谷歌學術論文引用超兩萬次。諾亞方舟實驗室是華為公司從事人工智能基礎研究的實驗室，秉持理論研究與應用創新并重的理念，致力于推動人工智能領域的技術創新和發展。

8 月 25 日 - 29 日在西班牙巴塞羅那召開的第 30 屆 ACM 知識發現與數據挖掘大會 (KDD2024) 上，中國科學技術大學認知智能全國重點實驗室陳恩紅教授、IEEE Fellow，和華為諾亞聯合發表的論文 “Dataset Regeneration for Sequential Recommendation”，獲 2024 年大會 Research Track 唯一最佳學生論文獎。論文第一作者為中科大認知智能全國重點實驗室陳恩紅教授，連德富教授，與王皓特任副研究員共同指導的博士生尹銘佳同學，華為諾亞劉勇、郭威研究員也參與了論文的相關工作。這是自 KDD 于 2004 年設立該獎項以來，陳恩紅教授團隊的學生第二次榮獲該獎項。

論文鏈接: https://arxiv.org/abs/2405.17795
代碼鏈接: https://github.com/USTC-StarTeam/DR4SR

研究動機

序列推薦系統（Sequential Recommender, SR）是現代推薦系統的重要組成部分，因為它旨在捕捉用戶不斷變化的偏好。近年來，研究者為了增強序列推薦系統的能力，已經付出了大量努力。這些方法通常遵循以模型為中心（Model-centric）的范式，即基于固定數據集開發有效的模型。然而，這種方法往往忽視了數據中潛在的質量問題和缺陷。為了解決這些問題，學界提出了以數據為中心（Data-centric）的范式，重點在于使用固定模型轉而生成高質量的數據集。我們將其定義為 “數據集重生成” 問題。

為了獲得最佳的訓練數據，研究團隊的關鍵思路是學習一個顯式包含物品轉移模式的新數據集。具體來說，他們將推薦系統的建模過程分為兩個階段：從原始數據集中提取轉移模式，并基于學習用戶偏好。由于學習從的映射涉及兩個隱含的映射：，因此這一過程具有挑戰性。為此，研究團隊探索了開發一個顯式表示中的物品轉移模式的數據集的可能性，這使得我們可以將學習過程明確地分為兩個階段，其中相對更容易學習。因此，他們的主要關注點是學習一個有效的的映射函數，這是一個一對多的映射。研究團隊將這一學習過程定義為數據集重生成范式，如圖 1 所示，其中 “重生成” 意味著他們不引入任何額外信息，僅依賴原始數據集。

圖1

為了實現數據集重生成，研究團隊提出了一種新穎的以數據為中心的范式 —— 用于序列推薦的數據集重生成（DR4SR），旨在將原始數據集重生成一個信息豐富且具有通用性的數據集。具體來說，研究團隊首先構建了一個預訓練任務，使得數據集重生成成為可能。接著，他們提出了一種多樣性增強的重生成器，以在重生成過程中建模序列和模式之間的一對多關系。最后，他們提出了一種混合推理策略，以在探索與利用之間取得平衡，生成新的數據集。

數據集重生成過程雖具通用性，但可能不完全適合特定目標模型。為解決這一問題，研究團隊提出了 DR4SR+，這是一個模型感知的重生成過程，它根據目標模型的特性定制數據集。DR4SR + 通過雙層優化問題和隱式微分技術，個性化評分并優化重生成數據集中的模式，以增強數據集效果。

研究方法

在本項研究中，研究團隊提出了一個名為 “用于序列推薦的數據重生成”（DR4SR）的以數據為中心的框架，旨在將原始數據集重生成一個信息豐富且具有通用性的數據集，如圖 2 所示。由于數據重生成過程是獨立于目標模型的，因此重生成的數據集可能不一定符合目標模型的需求。因此，研究團隊將 DR4SR 擴展為模型感知版本，即 DR4SR+，以針對特定的目標模型定制重生成的數據集。

模型無感知的數據集重生成

圖2

為了開發一個信息豐富且具有通用性的數據集，研究團隊旨在構建一個數據集重生成器，以促進數據集的自動重生成。然而，原始數據集中缺乏用于學習數據集重生成器的監督信息。因此，他們必須以自監督學習的方式來實現這一目標。為此，他們引入了一個預訓練任務，以指導多樣性增強重生成器的學習。在完成預訓練后，研究團隊進一步使用混合推理策略來重生成一個新數據集。

數據重生成預訓練任務的構建：

圖3

為了構建預訓練任務，他們首先通過基于規則的方法獲取物品轉移模式。然后，要求重生成器能夠將重生成對應的模式。研究團隊將整個預訓練數據集記作

促進多樣性的重生成器：

借助預訓練任務，研究團隊現在可以預訓練一個數據集重生成器。本文中，他們采用 Transformer 模型作為重生成器的主要架構，其生成能力已被廣泛驗證。數據集重生成器由三個模塊組成：一個用于獲取原始數據集中序列表示的編碼器、一個用于重生成模式的解碼器，以及一個用于捕捉一對多映射關系的多樣性增強模塊。接下來，研究團隊將分別介紹這些模塊。

編碼器由多個堆疊的多頭自注意力（MHSA）和前饋網絡（FFN）層組成。至于解碼器，它將重生成數據集 X' 中的模式作為輸入。解碼器的目標是在給定編碼器生成的序列表示的情況下重構模式

然而，從一個序列中可以提取多個模式，這在訓練過程中會帶來挑戰。為了解決這一一對多映射問題，研究團隊進一步提出了一個多樣性增強模塊。

具體而言，研究團隊通過將目標模式的信息整合到解碼階段，來自適應地調節原始序列的影響。首先，他們將編碼器生成的記憶投影到 K 個不同的向量空間中，即。理想情況下，不同的目標模式應與不同的記憶匹配。為此，他們還引入了一個 Transformer 編碼器來編碼目標模式并獲取。他們將壓縮成一個概率向量：

其中，是選擇第 k 個記憶的概率。為了確保每個記憶空間得到充分訓練，我們不執行硬選擇，而是通過加權求和得到最終的記憶：

最終，可以利用獲取的記憶來促進解碼過程，并有效捕捉序列與模式之間復雜的一對多關系。

模型感知的數據集重生成

由于前面的重生成過程與目標模型無關，因此重生成的數據集可能對于特定的目標模型來說并不是最優的。因此，他們將模型無關的數據集重生成過程擴展為模型感知的重生成過程。為此，在數據集重生成器的基礎上，他們引入了一個數據集個性化器，用于評估重生成數據集中每個數據樣本的評分。然后，研究團隊進一步通過隱式微分有效地優化數據集個性化器。

數據集個性化器：

研究團隊的目標是訓練一個參數為的基于 MLP 實現的數據集個性化器，用以評估每個數據樣本 W 對于目標模型的評分。為了確保框架的通用性，研究團隊利用計算得到的評分來調整訓練損失的權重，這不需要對目標模型進行額外的修改。他們從定義原始的下一個物品預測損失開始：