本文第一作者為韓沛煊，本科畢業(yè)于清華大學(xué)計算機(jī)系，現(xiàn)為伊利諾伊大學(xué)香檳分校（UIUC）計算與數(shù)據(jù)科學(xué)學(xué)院一年級博士生，接受 Jiaxuan You 教授指導(dǎo)。其主要研究方向為：大語言模型的安全性及其在復(fù)雜場景中的推理。

說服，是影響他人信念、態(tài)度甚至行為的過程，廣泛存在于人類社會之中。作為一種常見而復(fù)雜的交流形式，這一頗具挑戰(zhàn)的任務(wù)也自然地成為了日趨強(qiáng)大的大語言模型的試金石。

人們發(fā)現(xiàn)，頂尖大模型能生成條理清晰的說服語段，甚至在 Reddit 等用戶平臺以假亂真，但大模型在心智感知方面的缺失卻成為了進(jìn)一步發(fā)展說服力的瓶頸。

成功的說服不僅需要清晰有力的論據(jù)，更需要精準(zhǔn)地洞察對方的立場和思維過程。這種洞察被心理學(xué)稱為「心智理論」（ToM），即認(rèn)識到他人擁有獨立的想法、信念和動機(jī)，并基于此進(jìn)行推理。這是人類與生俱來的認(rèn)知能力，而大模型在對話中卻往往缺乏心智感知，這導(dǎo)致了兩個顯著的缺陷：

• 模型往往僅圍繞核心論點展開討論，而無法根據(jù)論點之間的聯(lián)系提出新的角度；
• 模型往往僅關(guān)注并重復(fù)己方觀點，而無法因應(yīng)對方態(tài)度變化做出策略調(diào)整。

為解決這一問題，伊利諾伊大學(xué)香檳分校的研究者提出了 ToMAP（Theory of Mind Augmented Persuader），一種引入「心智理論」機(jī)制的全新說服模型，讓 AI 更能「設(shè)身處地」從對方的角度思考，從而實現(xiàn)更具個性化、靈活性和邏輯性的說服過程。

• 論文標(biāo)題：ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind
• 論文地址：https://arxiv.org/pdf/2505.22961
• 開源代碼倉庫：https://github.com/ulab-uiuc/ToMAP

ToMAP：知己知彼，百戰(zhàn)不殆

ToMAP 創(chuàng)新性地在說服者框架中引入兩大心智模塊：反駁預(yù)測器和態(tài)度預(yù)測器。

反駁預(yù)測器模擬人類在說服中主動預(yù)判對方可能持有的反對觀點。本文發(fā)現(xiàn)，大模型說服者本身就具備反駁預(yù)測的能力，只需要通過提示詞設(shè)計「激活」這一能力即可。定性與定量分析顯示，基于模型生成的反駁觀點與真實被說服者的觀點在語義上高度相似。這讓說服者在對話中占據(jù)「先發(fā)優(yōu)勢」，從而主動化解對方的疑慮。在主張「素食食譜」的例子中，反駁預(yù)測器能主動識別出「烹飪麻煩」「味道不好」等對方反對素食的理由，構(gòu)建出圍繞核心論點的復(fù)合關(guān)系。

僅僅識別反論點并不能刻畫復(fù)雜對話中的態(tài)度變化，因此，態(tài)度預(yù)測器進(jìn)一步評估對手對上述反論點的態(tài)度——是堅定認(rèn)可，還是中立或已被說服？該模塊以對話歷史和論點為輸入，利用 BGE-M3 文本編碼器與多層感知機(jī)（MLP）分類器，在對話過程中動態(tài)估算對方對各個論點的態(tài)度傾向，使說服者能有的放矢地展開論證。

實驗表明，預(yù)測器在 5 點預(yù)測上的表現(xiàn)顯著優(yōu)于直接使用大模型推理。例如，在上圖的對話中，對方已經(jīng)認(rèn)可素食對健康的好處，卻提到其并不「享受」素食。這說明其很可能對素食的味道持保留態(tài)度，為下一輪的說服側(cè)重點提供了關(guān)鍵線索。

兩大預(yù)測器的引入使得說服者在作出決策時掌握更為豐富的信息：其不僅能預(yù)知對方可能的反駁意見，還能動態(tài)評估對方心理狀態(tài)。這有利于其設(shè)計更多樣化、有針對性的對話，切實有效地影響對方觀點。

然而，LLM 本身未必能有效利用這些信息，為了充分發(fā)揮上述模塊的優(yōu)勢，ToMAP 采用了強(qiáng)化學(xué)習(xí)（RL）方法，通過大量對話對模型進(jìn)行訓(xùn)練。在每輪對話中，模型會根據(jù)「說服力得分」進(jìn)行獎勵，該得分衡量的是對方在一輪交互前后態(tài)度的變化。為避免重復(fù)、冗長、格式不當(dāng)?shù)葐栴}，訓(xùn)練還引入了格式獎勵、重復(fù)懲罰、超長懲罰等輔助信號，幫助模型生成通順、有說服力的對話。

實驗分析：運籌帷幄，策略制勝

本文在多種數(shù)據(jù)集與對手模型上對說服者模型進(jìn)行了系統(tǒng)測試，評估對手模型在 3 輪對話前后的態(tài)度轉(zhuǎn)變。

結(jié)果顯示，基于 Qwen-2.5-3B 的 ToMAP 模型顯著優(yōu)于基線模型和無心智模塊的 RL 版本。值得注意的是，盡管 ToMAP 僅使用 3B 參數(shù)的小模型，其性能卻超越了多種參數(shù)規(guī)模更大的模型，包括 GPT-4o 與 DeepSeek-R1。這說明即使是規(guī)模較小的模型，在合適的訓(xùn)練配方和模塊設(shè)計的加持下，也能展現(xiàn)出驚人的說服力。

回顧 ToMAP 模型的訓(xùn)練軌跡，我們得以一窺其能力增長背后的原理。從圖中可以看出，在說服獎勵不斷增加的過程中，ToMAP 的重復(fù)度懲罰始終保持在較低水平，說明心智模塊的信息有效地提高了模型輸出的多樣性。

另外，在對話長度相對穩(wěn)定的條件下，ToMAP 的思考長度顯著高于基線，表明 RL 賦予了模型深度思考策略的能力，具有不可或缺的作用。另外，ToMAP 更傾向于使用理性和有針對性策略，而非空洞的情緒煽動或權(quán)威引用——策略的改進(jìn)正是其說服力提升的重要原因。

我們還發(fā)現(xiàn)，ToMAP 在長對話中依然穩(wěn)定提升說服力。基準(zhǔn)模型和常規(guī) RL 模型在早期幾輪對話中效果較好，但隨著對話輪次增加，說服力趨于飽和甚至下降；相比之下，ToMAP 在 10 輪對話中依然保持穩(wěn)定增長，顯示出優(yōu)秀的策略調(diào)整能力和論點的多樣性。

結(jié)語：為 AI 注入「人性認(rèn)知」的火花

本研究提出了 ToMAP，一種融合心智理論的 AI 說服框架，致力于解決當(dāng)前大語言模型在說服任務(wù)中缺乏對手建模與策略靈活性的問題。論文通過「反論點預(yù)測器」模擬人類預(yù)判異議的能力，通過「態(tài)度預(yù)測器」感知對方態(tài)度的細(xì)微變化，使 AI 在說服過程中更加敏銳與應(yīng)變。通過精心設(shè)計的強(qiáng)化學(xué)習(xí)機(jī)制，促進(jìn)模型生成內(nèi)容多樣、結(jié)構(gòu)規(guī)范、邏輯清晰的高質(zhì)量論證。

ToMAP 不僅提升了模型的說服能力，在多個數(shù)據(jù)集和模型組合中顯著超越強(qiáng)大基線，更是在大模型「心智建模」方向上邁出的重要一步。通過主動理解對方認(rèn)知結(jié)構(gòu)與態(tài)度傾向，ToMAP 展現(xiàn)出初步的「社會認(rèn)知」特征，使得語言模型在復(fù)雜交互任務(wù)中更具人性化與策略性。

總之，ToMAP 不僅是一種有效的說服者訓(xùn)練框架，更是推動 AI 邁向具備「類人思維模式」的創(chuàng)新嘗試，為構(gòu)建可信、靈活的 AI 交流系統(tǒng)提供了堅實基礎(chǔ)。