一、大模型推薦技術發展回顧

1. 視角 1：對現有推薦的“改變”程度

目前，推薦系統關于“大模型”的結合存在三種主要技術思路：傳統 CTR 模型不斷做大、利用大語言模型在現有推薦各階段進行增強，生成式大模型端到端解決推薦。

（1）傳統 CTR 大模型

CTR 模型在推薦系統中逐漸向大規模化發展，模型復雜度方面，從簡單的邏輯回歸到復雜的深度學習模型，如 Wide & Deep、DeepFM、xDeepFM 等，提升了特征交互和非線性表示能力。數據規模上，利用大數據集進行訓練，增強模型的泛化能力。在早期受限于算力，但隨著技術進步，采用分布式計算和 GPU 加速，提升訓練效率。CTR 模型不斷變大的一個根本邏輯也是大家相信加深加寬的網絡表達，海量的樣本會對 ctr 模型更好的建模，其實也是在遵循 scaling law，雖然這個術語這兩年才活起來，但其實 ctr 模型在 16 年工業界從 LR 轉型 DNN 開始，就默認在 scaling 的路上不斷發展。

（2）LLM 增強現有推薦技術

大語言模型憑借其豐富的 World Knowledge 和強大的理解能力，在數據樣本和特征增強、U&I embedding 理解等方面對推薦系統進行了增強。在樣本方面，LLM 通過生成高質量的商品描述和用戶畫像，有效緩解了冷啟動問題，豐富了訓練數據。在特征工程方面，LLM 利用其強大的自然語言處理能力，增強了對用戶和商品文本信息的理解，生成更豐富、更精細的特征表示。在 embedding 表達方面，LLM 通過預訓練和微調，捕捉用戶的深層次興趣和偏好，實現更精準的個性化推薦。

（3）生成式大模型

生成式大模型代表了一種顛覆性的變化，它從傳統的多級過濾判別模式轉變為端到端的生成模式，為推薦系統提供了全新的數據處理和內容生成能力，代表作就是 meta 最新的論文 Trillion-Parameter Sequential Transducers for Generative Recommendations.

2. 視角 2：大語言模型如何去解“推薦”曾經的發展瓶頸

“推薦”在其發展的各階段曾遇到不同的瓶頸。

（1）階段 1：卷數據

在 2010 年左右，推薦系統面臨的主要瓶頸是數據量不足。當時處于 PC 時代，數據的體積（volume）、側邊信息（side info）、標簽（label）遠不如今天豐富。受限于產品設計，強賬號產品較少，導致用戶 ID、標簽和特征都非常稀疏。直到 2013 年移動互聯網的爆發，數據問題才得到緩解。在卷數據階段，一個顯著體驗是，在論文發表和競賽中，重點轉向了尋找和清洗數據以及數據標注，然后再配合“競賽神器”（各種樹模型，如 GBDT 到 XGBoost）來取得成績。

（2）階段 2：卷網絡表達

隨著神經網絡（NN）時代的到來，推薦系統開始從邏輯回歸（LR）轉向深度神經網絡（DNN），這一轉變標志著特征交叉表達的自動化。百度的大規模離散邏輯回歸是淺層時代的代表作，奠定了后來發展的兩個方向：高效的計算框架和精細的特征工程。各種工作把模型表達做精做細，如 Show+Click + MLP + UBM，以及主輔網絡的交替訓練。在神經網絡時代，特征工程的工作從人工交給了網絡結構，為了替代人工交叉，讓模型自動學習特征的復雜交互，開啟了一個模型不斷擴展特征交叉表達的時代。

（3）階段 3：卷算力 & 卷 Infra

Transformer 結構的出現，其天然可并行的“疊羅漢”結構為算力提供了擴展的條件。推薦系統開始設計適用于并行計算的網絡結構，并在底層進行計算優化，以應對行為序列的豐富（長寬高）和特征交互的復雜性，這些都對算力和基礎設施（Infra）提出了新的要求。與此同時，推薦場景對用戶響應時間（RT）的容忍度遠低于對話場景，這進一步推動了對推薦系統算力的高要求。

回顧完推薦系統曾經的發展瓶頸，我們再來看大模型的兩個主要核心能力：scaling law 質變的涌現和 world knowledge 基礎理解，這兩個關鍵能力如何來解決推薦系統曾經面臨的發展瓶頸。

（4）World Knowledge*數據瓶頸

①豐富樣本

大模型通過其顯性知識，例如在搜索相關性方面，可以通過生成相似的查詢（query）來豐富樣本行和列。這種方法可以擴展到推薦系統中，通過生成硬樣本（hard/easy user-item pairs）來增強模型的訓練數據集。

②數據預處理

通過構造合適的 prompt，抽取和轉化原始信息，讓 model 更容易擬合其與 label 的關系。比如，在醫生推薦服務中，用戶會輸入一段患者主訴，但通常是口語化或非標準的，讓 LLM 可以將其轉化成更 medical level 的表述，以及抽取關鍵醫學詞匯，預處理后的輸入對醫生推薦的表現有極大提升。

（5）World Knowledge*NN 表達瓶頸

①LLM embedding 直接使用

大模型的 embedding 可以直接作為 i2i 或者作為新增的 feature slot 放入模型使用。

②Embedding pre-load for finetune

大模型的隱性知識可以作為輸入或預加載（preload）到推薦系統中，以更好地表達用戶和物品的知識。例如，在處理冷啟動問題時，可以使用大模型預訓練的嵌入（Embedding）作為初始化，為新用戶或新物品提供較為準確的特征表示。

（6）Scaling law*NN 表達瓶頸

①Scaling Law 對召回的啟示：

I2I 召回通常面臨做深和做寬的問題，做深是指對于 item1，不僅 top100 是準的，top1w 也是準的，這對多候選池場景通用一套 i2i 是非常重要的；做寬是指除了頭部 item 訓練比較準，長尾的 item 也需要做到相對不錯的準度；解決以上挑戰的手段本質就是 scaling law 的各種方法，樣本規模的擴大，i2i model 參數的增大，epoch 增多等，以上可以充分解決上述挑戰。

②Scaling law 對精排的啟示：

Scaling law 對精排的啟示在過去幾年傳統的 ctr 大模型也一直在踐行，從 ubm，多模態，多目標，網絡結構加深加寬，交叉結構不斷豐富等都可以提高模型對用戶和物品理解的準確性。大模型的 Scaling Law 能力允許模型在特征交叉方面進行更深入的探索。通過增加模型的大小和復雜性，可以更好地捕捉用戶和物品之間的復雜關系。

（7）Scaling law*算力&infra 瓶頸

①與 Scaling Law 同步適配算力和基礎設施不斷提升

隨著大模型的 Scaling Law，算力和基礎設施也在不斷進化。推薦系統可以設計為更適合并行計算的結構，同時利用底層計算優化來提高效率。

②利用生成式建模和基礎設施優化

通過生成式建模，可以在推薦系統中實現從同質數據空間到異質數據全空間的統一表示。此外，通過基礎設施的優化，比如使用 Mixture of Experts（MoE）等技術，可以在保持模型復雜性的同時加速推理過程。

通過上述方法，大模型技術能夠有效解決推薦系統在數據、網絡表達瓶頸，并且反向推動算力基礎設施提升，推動推薦系統向更高效、更準確的方向發展。

二、健康電商推薦背景與挑戰

在當前的電商環境中，消費者幾乎每天都會使用各種購物應用程序，如小紅書、京東、淘寶、天貓等。盡管這些平臺在用戶體驗上有很多相似之處，但在健康產品這一細分市場中，推薦系統面臨著獨特的挑戰和特點。

1. 健康產品的剛需和知識驅動特性

泛健康商品，包括營養保健品、OTC、口罩、溫度計等，與傳統的零售商品相比，具有明顯的剛需和知識驅動特性。例如，消費者購買維生素 C 時，其決策過程往往與其對維生素 C 的知識以及是否是其當前需要，而不是基于多樣化的興趣選擇。這意味著健康商品的推薦應當更多地依賴于知識導向和剛需滿足。

2. 標品的特性及其對推薦系統的影響

泛健康商品，存在很大一部分標品。標品指的是有明確標準和約束，比如限定成分、規格或明確功效等的商品。比如 N95 口罩是標品，polo 衫是非標品。標品在 SKU（最小粒度商品）層面的差異性較小，消費者選擇時的個性化需求并不顯著，其個性化主要是在標品類別的選擇上。而 LLM 對標品的理解是充分的，但無法對齊其對 skuid 的理解（一個標品包含成百上千的 skuid）。因此，LLM 結合健康推薦系統可以采用 two-stage 策略：首先推薦符合剛需和知識導向的標品，然后在標品下為用戶推薦合適的 SKU。

3. 推薦系統的其他挑戰

除了上述特點外，健康產品推薦系統還面臨著其他挑戰，如低頻購買、用戶稀疏行為、場景差異性大等。這些問題普遍存在于推薦系統中，需要通過精細化的算法和深入的用戶理解來解決。

健康產品推薦系統在電商領域中占有重要地位，其成功實施需要對剛需和知識驅動的深入理解，以及對標品特性的有效利用。通過解決上述挑戰，推薦系統能夠為用戶提供更加精準和個性化的健康產品推薦。

三、大模型推薦在電商場的落地實踐

在電商推薦系統中，大模型技術的落地實踐主要聚焦于解決用戶個性化推薦的問題，尤其是在京東健康（JDH）這一特定領域。下面介紹大模型技術在電商推薦中的幾個關鍵落地實踐。

1. LLM4CB – 解決稀疏行為用戶召回

（1）問題背景

在電商推薦系統中，新用戶和低頻用戶由于行為數據不足，難以通過傳統算法實現有效召回。這部分用戶的推薦質量直接影響了平臺的用戶體驗和業務增長。

（2）解決思路

• 利用大語言模型的世界知識：大模型能夠根據用戶的基本信息，如年齡、居住地和健康記錄，推斷用戶可能的需求和興趣點，這種能力有助于理解用戶潛在的剛需和知識驅動的購買行為。
• 結合領域樣本數據：僅依靠大模型的通用知識是不夠的，必須結合特定領域的樣本數據，以縮小世界知識與領域知識之間的差距，這要求對大模型進行任務對齊，確保推薦系統能夠準確地響應用戶的具體需求。
• 推理性能優化：在召回過程中，傳統的 Item-to-Item（I2I）推薦可能僅需十幾毫秒。然而，如果引入大模型進行推理，可能會導致顯著的性能下降。為此，需要探索從離線到近線處理的升級方案，以減少覆蓋率的損失并保證系統的響應速度。

（3）技術挑戰

• 物料表達：大模型通常處理自然語言 token，而推薦系統中使用的是 ID。需要找到一種方法，使物料的表達既能夠保持語義信息，又具有足夠的區分度。
• 任務對齊：需要將特定領域的推薦樣本與大模型的任務進行有效對齊，確保推薦結果的準確性。
• 推理效率：面對大模型可能帶來的推理延遲，需要優化推理過程，以滿足在線推薦系統對實時性的要求。

（4）實施策略

采用兩階段建模方法，首先利用大模型生成潛在感興趣的產品名稱，然后根據產品名推薦具體的 SKU。在生成產品名稱（PU）時，通過過濾機制確保推薦結果與現有庫存和用戶需求相匹配。通過 Prompt 工程技術優化大模型的輸入，提高模型對特定領域任務的響應能力。

（5）數學建模

\[ \text{SU} = \{ \text{sku} | \text{EE}(\text{pu}, \text{sku}) \geq \epsilon \} \]

\[ \text{pu} = G(\text{u, cxt}) | f(\text{P, G}) \geq \theta \]

其中，\( \text{SU} \) 表示給定標品p，召回用戶 u 感興趣的 sku 列表；\( \text{EE} \) 是篩選得分高的 sku 的方式；\( \text{pu} \) 表示生成式的方式產出“可能”的標品集合；\( f(\text{P, G}) \) 表示生成商品和真實商品的匹配度。

（6）系統實現

包括 Prompt Engineering、特征選擇、樣本選擇、模型調優等步驟，以實現高效的個性化推薦。

LLM4CB 的建模采用兩階段方法：

• 第一階段：產品名生成（PU Generation）
  利用 LLM 生成可能感興趣的產品名稱集合，通過任務對齊全量調參 LLM 提高生成質量。首先，尋找到合適的 prompt，如下圖是我們的 prompt engineering 的系統界面，不斷的提示詞模板優化得到最佳的模板；其次，用場域內的推薦樣本構造為自然語言表達的數據，并填入 prompt 模板；接著，基于選定的大模型基模型，用轉化后的樣本做全量調參；訓練好后的 model 經離線評估 ok 后部署到線上，用去重后的樣本請求取得 pu 結果。
  
• 第二階段：SKU 召回（SKU Recall）
  在確定產品名后，通過評分機制篩選出用戶可能感興趣的 SKU。這里主要是用 EE 的打分方式，具體策略如 UCB，湯普森采樣等都可以選擇，不展開贅述。

其它說明：

①LLM 全量調參還是換 softmax frozen LLM，不同場景值得大家探索，為了對世界知識的最大保留，該場景選擇了前者。

②性能優化：通過異步推理和 KV 存儲，提高系統的實時性和覆蓋率。

③樣本多樣性：確保樣本選擇的多樣性，以引導模型學習。

④異步推理+KV 存儲：對用戶請求進行異步處理，使用鍵值存儲方式，提高響應速度。

（7）結果與展望

通過 LLM4CB 的實施，顯著提升了對稀疏行為用戶的召回效果，尤其是在長尾或低頻用戶群體中。微調策略的優化不僅提高了推薦的相關性，也為模型在特定領域的應用提供了靈活性和適應性。我們期待通過持續的技術創新，進一步提升推薦系統的性能和用戶體驗。

2. DeepI2I – 擴展 I2I 模型

為了解決長尾場景下的推薦問題，我們采用了 DeepI2I 模型，這是一種擴展的 Item-to-Item（I2I）推薦模型。通過增加樣本數量、參數量和 epoch，我們利用圖神經網絡（GNN）的隨機游走技術來構造低頻商品的樣本，同時運用大型語言模型（LLM）進行數據增強。這種策略不僅提高了模型對低頻商品的捕捉能力，也增強了模型對用戶偏好的深入理解。

3. 大模型 CTR – 踐行 Scaling Law

在點擊率預測（CTR）模型中，我們通過增加模型的復雜度和計算規模，以適應長序列、多模態、多目標等復雜推薦任務的需求。這一策略體現了 Scaling Law 的應用，即通過擴大模型規模來提升性能。我們的 CTR 模型已經從存儲密集型轉向計算密集型，以處理更大規模的數據和更復雜的特征交互。

4. 開放性問題

最后，我們提出了一個開放性問題：生成式推薦范式是否有可能取代傳統的多級過濾加判別式范式，并在電商推薦系統中大規模落地？電商推薦系統是一個復雜的系統性工程，涉及供給、分發、營銷等多個方面，不是單一技術問題。雖然大型語言模型在推薦系統中顯示出了潛力，但是否能完全替代現有的多階段判別式方法，還需要更多的研究和實踐來驗證。

個人觀點

• AI 技術范式之爭：歷史上，數據驅動的方法取代了專家系統，因為專家系統無法解決某些問題。當前的推薦技術范式已經達到了一個相對成熟的水平。
• 電商推薦系統的復雜性：電商推薦系統不僅僅是技術問題，還涉及業務配合、供應鏈管理、分發策略和營銷、平臺生態等多個方面。
• 大模型的增益：大型語言模型對推薦系統有增益，但這并不意味著要完全摒棄現有的多級過濾的范式。未來的發展方向可能是結合 Scaling Law 和大型語言模型的優勢，來解決推薦系統中的問題。

隨著技術的不斷進步，我們預計 Scaling Law 將在推薦系統中發揮更大的作用，推動個性化推薦技術向更深層次發展。

京東健康推薦團隊通過大模型技術在電商領域的落地實踐，展示了如何結合世界知識和領域知識，解決稀疏行為用戶的召回問題，并通過技術創新不斷提升推薦系統的性能和用戶體驗。