一、結論寫在前面

論文來自香港城市大學、華為諾亞方舟實驗室。

論文標題：LLM-enhanced Reranking in Recommender Systems

論文鏈接：??https://arxiv.org/pdf/2406.12433??

重排序是推薦系統中的關鍵組件，對精煉推薦算法的輸出起著至關重要的作用。傳統的重排序模型主要關注準確性，但現代應用要求考慮多樣性和公平性等額外標準。現有的重排序方法往往在模型層面未能有效地調和這些多樣化的標準。此外，這些模型由于其復雜性和不同場景下重排序標準的不同重要性，經常面臨可擴展性和個性化的挑戰。

為此，論文介紹了一種基于LLM的自動重排序框架，旨在通過自動重排序增強推薦系統。論文方法的核心是開發一個通用的節點結構，用于表示各種方面的需求，并在系統中作為不同的節點。這種結構有助于構建一個協調自動重排序過程的函數圖，輔以歷史重排序池，便于對重排序決策進行回顧性分析。

此外，使用“目標”句子來指導不同節點的整合，確保框架能夠動態地融合多個方面的需求。這一設計使得LLM4Rerank在重排序過程中展現出卓越的性能、可擴展性和個性化。在三個廣泛認可的工業數據集上的實驗驗證，強調了所提出的LLM4Rerank框架的有效性。

?二、論文的簡單介紹

2.1 論文的背景?

現有的重排序模型確實存在幾個限制。首先，由于這些方面之間存在巨大的語義鴻溝，在模型中全面考慮和平衡多個方面的復雜組合是具有挑戰性的。這是因為每個方面都通過獨特的屬性維度審查推薦列表，突出了復雜的語義關系和區別。這種復雜性突顯了不同方面之間存在的巨大鴻溝。

此外，可擴展性問題構成了另一個主要障礙，阻礙了單一模型在可能優先考慮不同方面或功能規則的多樣化推薦設置中的應用。當引入新的方面或定制重排序規則（如反向規則或停止條件）時，這一挑戰尤為突出，這些規則在模型開發之初并未預料到。

此外，無法個性化地融合各種方面進一步限制了現有模型的個性化，正如先前研究所指出的。一旦部署，特定模型在不同方面的輸出傾向是固定的，無法根據不斷變化的業務或用戶偏好進行智能調整。

為了克服這些障礙，一個理想的解決方案是構建一個多功能的重新排序框架，該框架能夠同時考慮多種方面組合和語義細微差別。這樣的框架能夠靈活適應不同情境和用戶需求的獨特要求，提供一個更加動態和定制化的重新排序方案。    

              圖1：推薦系統中的排序與重排序過程

然而，在使用LLMs構建重排序框架時，出現了幾個重大挑戰。第一個挑戰涉及確保框架以有組織和靈活的方式進行擴展，使其能夠容納當前的方面需求，同時也能適應潛在的未來方面。第二個挑戰圍繞制定一種機制，能夠根據特定的推薦設置或用戶偏好自動結合多樣化的方面需求，最終實現真正的個性化。

為了解決這些挑戰，論文提出了LL.M4Kerank，這是一個創新的重新排序框架，它利用零樣本大型語言模型（LLMs）的力量進行更精確的重新排序。具體來說，LLM4Rerank將重新排序中的各種方面要求表示為不同的節點，使框架能夠以思維鏈（CoT）的方式自動整合這些節點。這種方法的優勢在于：它確保了可擴展性，允許無縫地包含新的節點以應對新興的方面要求。為了證明這一點，除了準確性方面，多樣性和公平性方面也被添加到LLM4Rerank建模中。

2.2 框架

這里概述了推薦中重新排序任務的問題公式化，隨后對LLM4Rerank及其主要組件進行了全面概述。

2.2.1 問題公式化

重排序任務在推薦系統中扮演著關鍵角色。如圖1所示，考慮U為用戶集合，I為可供推薦的物品集合。為清晰起見，本文將每個用戶和物品分別表示為特征向量（w和i）。初始時，一個排序模型生成一個候選物品列表。為了提高推薦性能，應用重排序過程來分析\boldsymbol{I}^{r}中物品間的關系，從而生成K個物品，從初始列表中。重排序模型的目標是優化定義的目標函數，以增強用戶-物品的相關性：    

              圖2：LLM4Rerank的整體結構。輸入首先被導向“準確性”節點，該節點在函數圖中啟動一個自動的節點到節點的重排序過程（a）。不同顏色的節點（b）代表了重排序過程中的不同方面或功能步驟，指導大型語言模型（LLM）進行決策。一旦“停止”節點被選為下一個節點，一個完整的重排序過程就被認為完成。最終結果是基于歷史重排序池（c）中的最近重排序結果生成的。為簡化起見，歷史重排序池中的項目列表由項目ID的列表表示。注意，下劃線符號對應于子圖（b)中的模塊

為了促進各種重排序基線之間的公平比較，采用了廣義矩陣分解（GMF）模型作為統一的全局排名模型，遵循先前的研究。這種方法確保所有重排序模型在相同的候選項目列表上操作。

2.2.2 LLM4Rerank概覽

論文介紹提出的重排序框架LLM4Rerank，如圖2所示。該框架接收三種類型的輸入：

用戶信息（user info），包括性別和年齡等特征；

候選項目列表I；

一個名為“目標”的句子，概述了重排序的優先方面。    

LLM4Rerank被構造成一個完全連接的函數圖，不包括“停止”節點，如圖2（a）所示。每個節點代表一個潛在的重排序步驟，由LLM生成一個重排序列表，考慮到特定的方面相關或功能要求，如圖2（b）所示。函數圖中的每個邊表示節點到節點轉換的潛在路徑，確保所有節點之間的連通性，除了“停止”節點。為了展示LLM4Rerank的可擴展性，論文不僅集成了一個“準確性”節點，還集成了“多樣性”和“公平性”方面節點以及兩個功能節點：“后退”和“停止”，以實現實際功能。節點架構精心設計，允許LLM順序評估不同節點，從而優化重排序結果，全面滿足多個方面要求。此外，為了防止記憶丟失并增強LLM對方面組合的評估，使用了一個歷史重排序池（圖2（c））。該池按順序記錄每個節點的結果，作為每個節點后續重排序的輔助參考。最終，當達到“停止”節點時，重排序過程完成。

2.2.3 節點構建

為了便于大型語言模型（LLM）對復雜方面要求進行系統性分析，本結構旨在為特定要求建立明確的節點。這種安排使得LLM能夠采用思維鏈方法處理這些要求。然而，這種方法面臨兩個主要挑戰：首先，定制節點結構以保持可擴展性，當集成更多要求時；其次，使LLM能夠自動選擇其后續重排序步驟。

為解決這些挑戰，論文引入了一個通用的節點結構。它包括一個重排序步驟，并配有一個輔助指示器，該指示器表示由下一節點名稱識別的即將到來的步驟的方向。這種配置允許LLM在LLM4Rerank框架內自動導航，根據當前可用的信息做出決策。

這概述了論文針對節點結構定制化的挑戰，旨在增強LLM4Rerank框架的可擴展性的策略。具體而言，論文引入了一種通用的節點結構，作為所有節點的基礎，如圖2(b)所示。這種通用節點代表在LLM考慮下的單步重排序。通用節點的輸入包括用戶信息的語義表示、候選項目、定義整個重排序過程個性化焦點的“目標”句子，以及如果可用的話，整個歷史重排序池。該節點的輸出分為兩部分：當前節點的即時重排序結果，由項目ID列表表示，與當前節點的名稱一起整合到歷史重排序池中，作為后續步驟的參考。此外，還產生了一個指示器（即本文中的下一個節點的名稱），指定下一個用于重排序的節點，從而實現自動的逐步過程。在每個節點內部，LLM4Rerank首先根據預定義模板和當前特定的重排序標準及輸入，定制一個提示。隨后，LLCM4Rerank將與LLM交互，基于生成的提示獲取兩個輸出。    

方面節點 為了使LLM能夠執行針對不同方面需求定制的重排序任務，論文在提出的通用節點結構中采用基于提示的模板方法。這種方法允許實例化專門用于評估重排序過程中不同方面的特定節點。因此，每個節點都被設計為系統地處理這些關鍵方面之一，確保重排序結果反映出平衡的考慮。在本研究中，為了展示LLM4Rerank的可擴展性，論文實現了三個專門用于重排序的方面節點：“準確性”、“多樣性”和“配對性”。

?準確性節點：該節點旨在滿足重排序階段最終推薦列表的性能標準。因此，提示模板的設計強調了用戶與物品之間的關聯。圖3展示了一個在該節點內使用的簡單模板示例。此外，鑒于推薦準確性的至關重要性——這是推薦系統中不可或缺的基本方面——準確性節點已被確立為LLM4Rerank框架的起點。因此，每次重排序過程都以準確性節點開始，確保從一開始就對精確性給予基礎關注.

?多樣性節點：該節點專門設計以滿足重排序階段最終推薦列表的多樣性標準。在本研究中，論文通過評估最終列表中特定物品屬性的變化程度來評估重排序結果的多樣性。為此，論文采用了-NDCG指標。因此，圖4描繪了多樣性節點中使用的模板的一個示例。

?公平性節點：該節點旨在滿足重排序階段最終推薦列表中的公平性目標。在論文的研究中，推薦結果的公平性被操作化為兩個樣本組之間平均分數差異，這兩個樣本組根據一個明顯的特征進行區分，并使用平均絕對偏差（MAD）指標進行評估（Zhu, Hu, and Caverlee 2018）。鑒于LLM本質上生成的是重排序列表而非數值分數，論文為最終推薦列表中的項目分配線性范圍從1到0的分數。隨后，這些分數用于計算MAD以評估公平性。對于深入的方法論闡述，讀者可參考第.節。圖S提供了一個簡單的公平性節點模板示例。    

圖3：準確性節點的示例提示模板

圖4：多樣性節點的示例提示模板

功能性節點：最近的重新研究已經證明了反思在優化LLMs輸出中的有效性。為了增強LLM4Rerank在重排序過程中的邏輯能力并引入專門功能，論文開發了兩個功能性節點，專門用于促進重排序序列中的反思和終止。    

?反向節點：該節點使LLM能夠在評估先前的重排序努力時，有選擇地忽略被認為是次優的重排序結果。在此框架內，LLM4Rerank從歷史重排序池中刪除最新的重排序結果，并推進到一個公平性節點模板的示例后續節點根據LLM輸出指令確定。該節點的操作示例模板如圖6所示。

?停止節點：此節點控制LLM4Rerank輸出序列的終止。當LLM4Rerank指定此節點作為輸入步驟時，表示完整的重新排名過程的結束。隨后，此節點從歷史重新排名池中提取最近的重新排名結果，并將其呈現為最終的重新排名結果。需要注意的是，由于此節點僅功能性地標志著重新排名的結束，并不需要訪問LLM，因此此節點不需要提示模板。

圖5：公平性節點的示例提示模板    

              圖6：后向節點示例提示模板

2.2.4自動重新排名過程

為了利用LLM基于多樣化的方面要求進行重新排名，論文設計了不同的節點，每個節點針對特定的方面標準。然而，為每個重新排名任務預定義從一個節點到另一個節點的路徑既低效又難以實現。因此，為了適應獨特的用戶偏好并顯著提高個性化，開發了一個自動重新排名過程，主要包含以下三個子過程：

?設定目標：為了適應個性化需求并促進LLM4Rerank在不同上下文中的可擴展性，手動輸入的句子，即“目標”，被作為每個重新排名過程的初步輸入之一。如圖2所示，“目標”指明了特定重新排名過程的主要焦點。通過解釋“目標”與相應節點之間的語義聯系，LLM能夠自動為任何給定的重新排名任務選擇最合適的節點。通過解釋“目標”與相應節點之間的語義聯系，LLM能夠自動為任何給定的重新排名任務選擇最合適的節點。

?節點間自動過渡：對于每個節點，在接收到大型語言模型（LLM）的回復后，LLM4Rerank會獲取當前的重新排名結果，并伴隨一個指示器（即下一個節點的名稱），以確保在不同節點間流暢且自動地過渡。

?停止重新排名的條件：為減少長時間不活躍的風險，并解決可能因LLM回復中未識別的語義不準確性導致的錯誤，框架內設定了兩個終止標準。第一個標準在LLM自動識別“停止”節點為后續步驟時觸發。第二個標準在LLM遍歷預設數量的節點后激活，該數量由超參數設定，不包括“后退”節點。滿足任一條件即標志著重新排名過程的完成。隨后，該節點從歷史重新排名池中檢索并呈現最新的重新排名結果作為最終結果。    

算法1：LLM4Rerank的整個自動重新排名過程

通過應用這些子過程，LLM4Rerank的整個自動重新排名過程如算法1所示。

2.3實驗

論文在三個廣泛認可的工業數據集上進行實驗，探討以下研究問題：

表1：所用數據集的統計信息    

?RQ1：LLM4Rerank在準確性、多樣性和公平性方面與已建立的重新排名基線相比如何？

?RQ2：LM4Rerank能否自動識別并優先考慮針對個人偏好的特定方面要求的重新排名混合？

?RQ3：LLM4Rerank的自動重新排名框架是否明顯優于預定的重新排名路徑？

2.3.1實驗設置

數據集：論文使用三個廣泛認可的公共數據集進行實驗：ML-1M 1，KuaiRand（KuaiRand-Pure），和Douban-Movie。對于每個數據集，論文采用文獻中廣泛采用的留一法（He等 2017; Bayer等 2017; Gan等 2021），將數據分為訓練、驗證和測試集。

根據先前研究（Lin等 2022），論文選擇廣義矩陣分解（GMF）模型作為全局排名模型，為每個用戶生成包含20個項目的候選列表。為確保深度學習與LLM基礎模型之間的公平比較，論文排除了缺乏明確語義信息的特征和交互少于五次的用戶。對于深度學習模型，論文使用標準嵌入技術（Wang等 2021; Guo等 2021）將各種特征轉換為向量輸入。相反，對于LLM基礎模型，特征的語義信息（例如，特征的名稱）被用作輸入。表1展示了預處理后數據集的統計信息。

基線方法 在本節中，論文通過與以下基線方法進行比較，評估LLM4Rerank解決多樣化方面需求的能力：

?GMF將矩陣分解擴展到非線性框架中，作為本研究中的主要全局排序方法。GMF的結果代表了應用任何重排序過程之前的推薦。    

?DLCM通過使用循環神經網絡和基于注意力的損失函數來理解局部排序動態，旨在主要提高推薦結果的準確性，從而增強重排序效果。

?PRM利用具有自注意力機制的變換器架構，通過識別項目間的相互影響來精煉整個推薦列表，從而專注于提高準確性。

?MMR旨在平衡查詢相關性與重排序文檔中的冗余減少，使用最大邊際相關性得分來增強推薦結果中的多樣性方面。

?FastDPP加速了確定性點過程（DPP）的最大后驗（MAP）推斷，促進了多樣化推薦集的高效生成。該模型專注于推薦結果的多樣性方面。

?FairRec引入了一個公平感知推薦框架，該框架采用分解對抗學習和正交正則化。它旨在減輕與敏感用戶屬性相關的偏見，從而在不損害整體性能的情況下促進推薦的公平性。

?RankGPT研究了LLMs在信息檢索中的排序任務中的應用，采用了一種新穎的指令排列生成方法和滑動窗口策略。該模型以其對準確性的關注而著稱。需要注意的是，作為零樣本LLM基線，原始論文中的排列蒸餾方法并未實現。

?GoT提出了一種思維圖方法，通過將生成的內容結構化為圖來增強大型語言模型（LLMs）的提示效果。這種方法促進了協同效應、思維提煉和反饋回路的整合，使LLM的推理更緊密地與人類的認知過程相一致。與LLM4Rerank不同，GoT遵循預定的節點到節點推理路徑，不考慮歷史數據。通過應用固定的路徑，“準確性-多樣性-公平性-停止”，GoT作為本論文中關注準確性、多樣性和公平性結合的零樣本LLM基準。

實現細節 在評估準確性方面，論文采用了廣泛認可的指標：命中率（HR）和歸一化折損累積增益（NDCG）。對于評估多樣性方面，論文應用了常用的指標o-NDCG。為了評估公平性，論文使用了平均絕對差異（MAD）。MAD的計算公式為：

對于多樣性，而“視頻時長”——分為小于60,000毫秒和大于60,000毫秒——用于公平性評估。為了微調基于深度學習的模型以達到最佳性能，論文將學習率設為0.001，并通過網格搜索確定最佳超參數。對于零樣本LLM基線和LLM4Rerank，選擇Llama-2-13B作為默認的LLM主干。

?2.3.2總體性能（RQ1）

這里提供了LCM4Rerank與各種基線在表2中詳細描述的全面性能比較。比較分析顯示：

?DLCM和PRM在準確性方面表現出可接受的性能，如IR和NDCG指標所示。PRM利用變換器架構評估用戶-物品相關性，在準確性上超越了DLCM。

?MMR和FastDPP在增強多樣性方面表現有效，如o-NDCG指標量化所示。這些模型通過強調物品相似性和列表范圍的多樣性，擅長多樣化用戶重排列表。

?FairRec 在促進公平性方面表現出強大的性能，通過 MAD 指標進行衡量。通過分解對抗學習和正交正則化技術的整合，FairRec 確保了不同用戶群體間的推薦更加公平。    

?RankGPT 展示了出色的性能，突顯了零樣本大型語言模型在重排序任務中的能力。相反，GoT 采用鏈式思維方法，通過促進對多個方面的順序分析，取得了更優的結果。

?LLM4Rerank 通過個性化“目標”設置和自動重排序過程，顯著超越了基線，驗證了其全面的有效性。CLM4Rerank 巧妙地結合了重排序的各種方面要求，展示了其多功能性。雖然 LLM4Rerank-ADF 在單一方面可能不領先，但其在所有維度的總體平衡性能證實了將大型語言模型與自動重排序框架集成的好處。這種方法通過語義理解有效地協調了不同的方面需求，提供了在準確性、多樣性和公平性方面的優化結果。

2.3.3 方面組合分析 (RQ2)?

表 4：LLM4Rerank 的消融研究

在本節中，論文深入探討了旨在評估 LLM4Rerank 是否能根據不同的用戶定義“目標”自動調整其重排序策略以結合特定方面要求的實驗。論文對 ML-1M 數據集上的 LLM4Rerank 進行了測試，這些測試在多樣性和公平性方面反映了不同的優先級：

?DF：對多樣性和公平性方面賦予同等重要性。

?D-F：優先考慮多樣性，隨后強調公平性。

?F-D：優先考慮公平性，隨后強調多樣性。

在本實驗中，最大節點計數 MC 設定為 5。如表 3 所示，結果表明 LLM4Rerank 能夠根據不同的“目標”熟練調整其重排路徑，促進了對方面需求的動態加權整合。這一能力顯著增強了重排過程的個性化。    

值得注意的是，“準確性”節點在所有重排結果中始終存在，強調了每一次重排序列都以準確性節點開始。這一初始步驟確保了用戶-物品匹配的基礎準確性得以保持。

此外，觀察到在針對不同“目標”的 LLM 偏好路徑中，優先考慮的方面占主導地位，這表明 LLM4Rerank 框架能夠驅動 LLM 思考并捕捉“目標”中方面的重要性關系，并影響 LLM 的推理焦點。

另外，可以注意到，很少有推理路徑因為推理節點達到其最大值而結束。這表明在當前設置下，使用 3 個不同的方面節點，3-4 個思考步驟足以讓 LLM 自然地給出結果。

2.3.4 消融研究 (RQ3)?

論文在 ML-1M 數據集上進行消融研究，以闡明 LLM4Rerank 各組件對整體性能的影響。實驗旨在通過系統地移除某些特征來剖析模型的架構，從而突出它們各自的貢獻。論文以“準確性”方面為例進行研究，并將論文的調查與特定的“目標”對齊：關注準確性方面。以下是用于比較的 LLM4Rerank 的變體：

?LLM4Rerank-A：如表 2 所示，包括所有子結構并專注于準確性方面。

?無歷史重排池 (-H)：排除歷史重排池，移除了參考先前重排結果的能力。

?無自動重排序（-AR）：采用靜態重排序路徑 '準確性-準確性-停止'。

?無其他方面節點（-N）：省略除“準確性”和“停止”節點外的所有節點。

根據表4的發現，論文得出以下結論：

?缺乏歷史重排序池（LLM4Rerank-IH）導致性能顯著下降，強調了在序列決策中整體視角的重要性。此功能使LLM4Rerank能夠回憶和評估先前的選擇，增強了模型的戰略深度。

?移除自動重排序過程（LLM4Rerank-AR）導致性能大幅下降，證實了適應性路徑在應對多樣性方面需求的實用性。自動重排序機制允許LLM4Rerank根據當前所有信息動態確定后續步驟，從而優化重排序序列。

?消除其他方面和功能節點（LLM4Rerank-N）同樣導致性能顯著下降。這突顯了全面審查機制的價值，如“后退”節點所促進的，模仿人類決策過程。同時，與-AR相比，LLM仍能決定在結束重排序過程前可以訪問此節點的次數。性能提升驗證了即使LLM4Rerank只有一個方面節點，動態節點訪問次數仍能帶來益處。    

這些結果闡明了LLM4Rerank子結構在增強重排序性能中的關鍵作用，特別是在針對特定方面焦點定制過程方面。研究強調了模型復雜架構的設計，旨在靈活整合和平衡各種重排序標準。

2.3.5 案例研究

通過具體案例研究進一步說明LLM4Rerank框架的工作原理及其是否能真正平衡重排序的不同方面，如圖7所示。在此圖中，論文報告了LLM4Rerank在不同“目標”下的兩種最常見路徑：第一種（A-D-F）同時考慮準確性、多樣性和公平性；第二種（A-A-B-D）更側重于準確性方面，隨后是多樣性方面。

評估基于特定路徑的平均結果。從第一種路徑來看，根據“目標”的指導，LLM4Rerank依次通過“準確性”、“多樣性”和“公平性”節點，然后結束重排序。在多樣性重排序步驟后，不僅“-NDCG”指標提高，“fIR”和“NDCG”指標也有所提升。這可能是因為在實驗中，LLM不僅考慮當前方面，還考慮歷史重排序結果來綜合當前重排序。

此外，“o-NDCG”與“NDCG”指標之間的正相關關系在同時考慮兩者時也可能影響方面結果。從第二種路徑可以看出，功能節點如“后退”的加入幫助LLM更系統地思考。當它感知到在連續訪問“準確性”節點后多樣性方面幾乎沒有變化時，它考慮返回到前一步并將下一步設置為多樣性節點。

              圖7：LLM4Rerank在ML-1M數據集上的案例研究。該圖展示了LLM4Rerank在兩個“目標”下的最常見路徑。評估基于特定路徑上的平均結果    

              圖8：在ML-1M數據集上使用LCM4Rerank-ADF對“候選項數量”超參數的分析

2.3.6 超參數分析

近期研究揭示了大型語言模型（LLMs）在全面處理包含密集信息的長上下文時所面臨的挑戰。隨著排名序列中候選項數量的增加，語義信息的量也隨之增加，可能會使LLMs不堪重負。這可能解釋了當零射擊LLMs直接應用于包含數百萬項的推薦系統時觀察到的效能下降。鑒于此，本節探討了超參數“候選項數量”（最初固定為20）對ML-1M數據集內重排性能的影響，如圖8所示，使用LLM4Rerank-ADF進行演示。

研究結果表明，隨著“候選項數量”的增加，LLM4Rerank在各個方面的性能都有所下降。這一結果不僅突顯了LLMs在解析長上下文方面的當前局限性，而且強化了它們在需要更簡潔上下文信息的任務中的能力，如重排，而不是直接應用于廣泛的推薦或排名框架。通過限制項的數量并專注于單一請求內的豐富語義內容，LLM4Rerank有效地縮小了不同方面需求之間的語義鴻溝，從而提供了更連貫的重排結果，增強了整體推薦質量。    

本文轉載自 ??AI帝國??，作者： 無影寺