1. 為什么要提出PaRT框架

大型語言模型（LLMs）的突破性進展，正推動社交聊天機器人向更智能、更擬人的方向飛速發展。然而現有系統大多聚焦于情感化應答，卻忽視了主動對話的藝術——那些僅采用被動應答策略的傳統機器人，往往讓用戶陷入單方面推動對話的困境，最終導致互動索然無味。

主動對話技術為此提供了破局之道。這類系統能像人類般主動開啟話題（如"您最向往哪個旅游勝地？"），或在察覺用戶興趣減退時巧妙轉場。但當前直接調用LLMs生成話題的方式存在明顯缺陷：既容易產出千篇一律的泛泛之談，又受限于模型的知識時效性，難以維持專業領域的深度交流。

為此，創新性地提出PaRT(which enhances Proactive social chatbots with personalized real-time ReTrieval)框架，通過個性化實時檢索賦能主動對話。如圖1所示，該系統包含三大核心模塊：

• 首先，用戶畫像模塊通過智能提問構建精準的用戶畫像；
• 其次，意圖分析器能敏銳捕捉對話中的顯性需求與潛在興趣，將原始查詢轉化為個性化指令；
• 最后，檢索增強模塊從RedNote（小紅書）獲取最新資料，經去蕪存菁后指導LLMs生成精準回應。

實驗證明，該方案不僅能顯著提升對話質量，更將平均會話時長提升了21.77%。

2. PaRT方案詳解

上圖展示了PaRT的整體架構。完整工作流包括三大核心模塊：用戶畫像分析、意圖驅動的查詢優化和檢索增強生成。

2.1 用戶畫像

為提升聊天機器人對用戶偏好的理解，引入用戶畫像模塊。

借助記憶機制，系統能提煉對話歷史中的關鍵信息并存入用戶畫像。

主動問候是構建畫像的有效方式——靜態問題庫支持隨機提問開啟對話。結合現有畫像與檢索增強生成技術的個性化問候，能進一步完善用戶畫像。

2.2 智能意圖驅動的查詢優化器

對話過程中，優秀的聊天機器人應當主動感知用戶需求，在互動降溫時巧妙切換話題。

傳統聊天機器人常因執著當前話題導致交互質量下滑，而真正提升對話質量的關鍵在于精準捕捉用戶潛在意圖。

將用戶意圖劃分為三類：

• 自然延續：自然延續場景下，聊天機器人需在陪伴中保持對話流暢；
• 主動求知：面對主動求知類提問（如"《沙丘2》新片評價如何？"），則需啟動實時檢索獲取最新資訊。
• 隱性探索：當對話中出現興趣衰減信號或話題轉移傾向時，則暗示著隱性探索需求——此時系統需結合對話歷史和用戶畫像，智能生成個性化話題來重燃互動熱情。

2.3 檢索增強生成

在開放域生活對話等主動式聊天場景中，實時信息的整合能帶來顯著增益。由于靜態知識庫存在天然局限且易過時，網絡搜索成為檢索增強生成（RAG）的核心支撐。

采用經典的三階段RAG框架：檢索→摘要→網絡資源生成。具體實現時，通過RedNote（小紅書）搜索引擎確保檢索質量。

PaRT系統為不同對話場景定制專屬提示：

• 問候場景：隨機選取用戶畫像特征，由LLM提煉核心興趣作為搜索詞；
• 對話場景：采用智能查詢優化器生成搜索詞。

兩種場景均觸發檢索后，LLM對Top k結果智能摘要過濾噪聲，最終融合上下文生成自然流暢的信息響應。

3 效果評估

3.1 評估方法

基于11,455個高質量樣本構建數據集，采用全參數監督微調（SFT）對Qwen2系列模型進行優化。為兼顧效率與成本，對話生成選用Qwen2-72B-Instruct，其余模塊則采用Qwen2-7B-Instruct。

訓練配置如下：上下文窗口2048，學習率5e-6；單卡批量大小為2，4步梯度累積確保穩定；

全程使用24張NVIDIA A100 80GB顯卡，3輪訓練耗時約4小時。推理時通過0.9溫度系數調節生成結果的創新性與穩定性。

3.2 評估指標

為全面檢驗PaRT的性能，分別從檢索和生成兩個維度進行評估。針對傳統機器學習方法在主觀任務評估上的局限性，采用基于大語言模型（LLM）的評估體系。

在每個任務中隨機選取50個樣本，通過kappa系數衡量LLM與人工評分的一致性。鑒于檢索數據庫規模龐大且動態更新，檢索性能僅采用Top-k精確率（P@k）指標。通過設計特定提示詞，由LLM判斷檢索結果是否同時滿足：內容相關性、實用價值和對話流暢性三項要求，并給出0/1二值判定。

在生成質量評估方面，借鑒的研究框架，針對問候和對話場景設置了三個評價維度：

• 個性化程度:考察回復對用戶偏好的適配能力
• 信息密度:衡量內容的知識含量
• 溝通技巧:則評估回復在促進自然對話時表現出的邏輯連貫性、情感共鳴度和互動吸引力

每個維度均要求LLM給出0-3分的量化評分，分值越高代表質量越優。

3.3 離線實驗成果

3.3.1 檢索效能對比

通過對比原始用戶查詢與LLM優化查詢的檢索效果，如上表所示：優化查詢使整體檢索性能提升31.71%。

優化查詢的P@k指標隨檢索量增加衰減更緩，證明了PaRT方案的穩健性。經權衡信息量與準確率，最終設定檢索段落數為5。

3.3.2 文本生成質量

系統對比了兩種生成模式：

• 直接調用LLM的常規方案
• 基于用戶畫像的個性化生成方案

如上表所示，PaRT創新性地融合用戶畫像與檢索筆記，在所有指標上均表現最優：個性化生成回復更符合用戶預期，而結合檢索信息的PaRT方案能提供更精準的交互體驗。

3.3.3 檢索量優化研究

針對問候/對話兩種場景，測試了k=1/3/5/10四種檢索量配置。如上表所示，k=5時系統達到最佳平衡——檢索量不足導致信息缺失，過量則引入噪聲干擾，再次驗證了RAG系統需精準把控檢索規模與精度的黃金比例。

3.4 在線實測效果

為量化系統對用戶粘性的提升，開展了在線A/B對照實驗。選取"平均對話時長"作為核心指標——該數據能直觀體現用戶投入程度。

對照組采用被動應答式聊天機器人，實驗周期為7天，樣本均分至對照組與實驗組。

上表數據顯示，PaRT方案使平均對話時長顯著提升21.77%，驗證了其有效激發用戶深度交互的能力。

本文轉載自????大語言模型論文跟蹤????，作者：HuggingAGI