本文有三位共同第一作者，分別為 Zhining Zhang（張芷寧）、Chuanyang Jin（金川楊）、Mung Yao Jia。他們?cè)诩s翰霍普金斯大學(xué) Social Cognitive AI Lab 共同完成這篇論文。本文的指導(dǎo)老師為 Tianmin Shu（舒天民），是 JHU Social Cognitive AI Lab 的主任。該實(shí)驗(yàn)室致力于構(gòu)建能夠在現(xiàn)實(shí)世界中理解、推理和與人類互動(dòng)的社會(huì)智能系統(tǒng)，從而推進(jìn)以人為中心的 AI。

如何讓 AI 像人一樣思考？如何擁有像人一樣的認(rèn)知能力和社會(huì)能力？

心智能力（Theory of Mind, ToM）是指通過(guò)觀察他人的行為來(lái)理解他們內(nèi)心想法的能力，這一能力對(duì)開(kāi)發(fā)具備社會(huì)智能的智能體至關(guān)重要。

近日，來(lái)自JHU 的研究團(tuán)隊(duì)提出了 AutoToM，一種全自動(dòng)、開(kāi)放式的心智推理方法。作為首個(gè)面向開(kāi)放場(chǎng)景的 model-based ToM 方法，以類似人類的思維模式，AutoToM 在 5 個(gè)基準(zhǔn)測(cè)試中都取得了最好成績(jī)，并展現(xiàn)出良好的可擴(kuò)展性、魯棒性以及可解釋性。

• 論文標(biāo)題：AutoToM: Automated Bayesian Inverse Planning and Model Discovery for Open-ended Theory of Mind
• 論文地址: https://arxiv.org/abs/2502.15676
• 項(xiàng)目主頁(yè): https://chuanyangjin.com/AutoToM/
• 代碼地址: https://github.com/SCAI-JHU/AutoToM

基于模型的心智推理

當(dāng)前在實(shí)現(xiàn)心智能力的推理方面主要有兩種方法：

• 使用大型語(yǔ)言模型（LLM）來(lái)推理他人的心理狀態(tài)。然而，即使使用了換位思考、變化追蹤和時(shí)空推理等提示策略，LLM 在復(fù)雜情境中仍然會(huì)出現(xiàn)系統(tǒng)性的錯(cuò)誤。
• 采用基于模型的推理方法。特別是貝葉斯逆向規(guī)劃（Bayesian Inverse Planning, BIP）。BIP 假設(shè) agent 會(huì)根據(jù)一個(gè)貝葉斯心智模型（Bayesian Theory of Mind, BToM）做出理性行為。這個(gè)模型使用 MDP、POMDP、I-POMDP 等給定框架描述 observation、belief、action、goal 等心理變量之間的依賴關(guān)系，來(lái)模擬 agent 做出行為的過(guò)程。BIP 通過(guò)逆推這個(gè)生成過(guò)程，來(lái)判斷哪些潛在心理狀態(tài)可能導(dǎo)致我們觀察到的行為。

JHU 該團(tuán)隊(duì)之前的論文（ACL 2024 杰出論文獎(jiǎng)）將 BIP 和 LLM 結(jié)合，以實(shí)現(xiàn)既具可擴(kuò)展性又穩(wěn)健的模型化心智推理。這類方法更加穩(wěn)健，在特定領(lǐng)域中相較于直接使用 LLM 有明顯優(yōu)勢(shì)，但它們依賴的是固定、人工設(shè)計(jì)的模型，沒(méi)有辦法泛化到不同的領(lǐng)域。

不同基準(zhǔn)測(cè)試中的示例問(wèn)題及其所需的 BToM 模型。

AutoToM

第一個(gè)適應(yīng)開(kāi)放場(chǎng)景的 model-based ToM 方法

AutoToM 引入了一種全新范式。它是一種完全自動(dòng)化、開(kāi)放式的基于模型的 ToM 推理方法。AutoToM 實(shí)現(xiàn)了對(duì)貝葉斯逆向規(guī)劃的全流程自動(dòng)化，包括模型結(jié)構(gòu)的提出與調(diào)整、關(guān)鍵時(shí)間點(diǎn)的識(shí)別、假設(shè)的生成以及貝葉斯推理的執(zhí)行。

它無(wú)需任何領(lǐng)域知識(shí)，可在任意情境中運(yùn)行，能夠推斷任何心理狀態(tài)，推理涉及任意數(shù)量的智能體，并支持任意層級(jí)的遞歸推理。這體現(xiàn)了團(tuán)隊(duì)對(duì)一種開(kāi)放、通用且穩(wěn)健的機(jī)器心理理論的愿景。

AutoToM 的流程圖。X 是已知的可觀測(cè)變量，V 是潛在的心理變量，q 表示問(wèn)題中查詢的變量。ts:t 表示用于推理的信息來(lái)自 ts 到 t 的時(shí)間段。變量 s、o、b、a、g 分別表示 state、observation、belief、action、goal，圖中的實(shí)線箭頭表示模型中它們的依賴關(guān)系。

全自動(dòng)的貝葉斯逆向規(guī)劃

給定一個(gè)貝葉斯心智理論模型（BToM）中，我們引入大語(yǔ)言模型（LLM）作為計(jì)算后端，用于實(shí)現(xiàn)貝葉斯逆向規(guī)劃（BIP）的各個(gè)關(guān)鍵環(huán)節(jié)。

假設(shè)采樣（Hypothesis Sampling）

傳統(tǒng)的 BIP 方法通常依賴人為設(shè)定的假設(shè)空間，以及為每個(gè)潛在心理變量指定具體的假設(shè)表示方式。而我們的假設(shè)采樣模塊則利用 LLM，根據(jù)上下文中可觀測(cè)變量及其取值，生成一小集合的高質(zhì)量假設(shè)。隨后，我們還會(huì)通過(guò)假設(shè)篩選機(jī)制，去除不太可能的假設(shè)，從而壓縮假設(shè)空間。

貝葉斯推理（Bayesian Inference）

我們使用 LLM 來(lái)估計(jì) BToM 模型中每個(gè)局部條件概率。接著，通過(guò)對(duì)非目標(biāo)潛在變量進(jìn)行邊緣化，我們得到目標(biāo)變量的后驗(yàn)概率。與以往方法相比，我們的方法具有更強(qiáng)的通用性：支持任意結(jié)構(gòu)的 BToM 模型，能夠同時(shí)考慮多個(gè)潛在變量，并支持任意層級(jí)的高階的心智推理。

在給定的 BToM 模型下，AutoToM 進(jìn)行全自動(dòng)的貝葉斯逆向規(guī)劃。

全自動(dòng)的模型發(fā)現(xiàn)與改進(jìn)

之前的方法依賴于人工設(shè)計(jì)的 BToM 模型，這限制了它們?cè)谔囟I(lǐng)域外的適用性。相比之下，AutoToM 能夠自動(dòng)提出模型，并動(dòng)態(tài)調(diào)整模型結(jié)構(gòu)，從而在推理過(guò)程中兼顧有效性（即準(zhǔn)確地推斷出智能體的心理狀態(tài)）和高效性（即盡可能簡(jiǎn)化模型和計(jì)算復(fù)雜度）。

信息提取

信息提取模塊會(huì)處理給定的信息，識(shí)別可觀測(cè)變量的取值，包括狀態(tài)、動(dòng)作和言語(yǔ)等信息，并按時(shí)間順序組織。

提出初始模型

我們使用 LLM 根據(jù)已有的信息和任務(wù)提出一個(gè)初始的 BToM 模型。基于該模型，我們執(zhí)行自動(dòng)化的 BIP。如果該模型的效用超過(guò)某個(gè)閾值，我們便接受該模型的推理結(jié)果，否則將進(jìn)行后續(xù)的模型調(diào)整。

模型調(diào)整

我們通過(guò)兩種方式迭代式地優(yōu)化初始模型：變量調(diào)整和時(shí)間節(jié)點(diǎn)調(diào)整。

• 變量調(diào)整：在某個(gè)具體時(shí)間點(diǎn)上，我們會(huì)引入新的、相關(guān)的潛變量來(lái)擴(kuò)展模型結(jié)構(gòu)，從而緩解推理過(guò)程中的不確定性。每引入一個(gè)變量，我們都會(huì)重新計(jì)算模型效用，并選擇提升效用最大的修改方案進(jìn)行保留。
• 時(shí)間節(jié)點(diǎn)調(diào)整：以往的研究通常假設(shè)所有歷史都是相關(guān)的，而 AutoToM 能夠在上下文中發(fā)現(xiàn)相關(guān)的歷史信息，這種能力對(duì)于 AutoToM 在長(zhǎng)上下文環(huán)境中成功進(jìn)行心理理論推理并降低計(jì)算成本至關(guān)重要。從最小的時(shí)間范圍開(kāi)始，如果在當(dāng)前的時(shí)間范圍內(nèi)，變量調(diào)整仍無(wú)法顯著提升模型效用，我們會(huì)考慮加入新的時(shí)間節(jié)點(diǎn)以引入更多上下文信息。在考慮新的時(shí)間節(jié)點(diǎn)后，會(huì)在此基礎(chǔ)上繼續(xù)執(zhí)行變量調(diào)整。

AutoToM 通過(guò)在變量調(diào)整和時(shí)間節(jié)點(diǎn)調(diào)整之間交替進(jìn)行，自動(dòng)優(yōu)化 BToM 模型。

自動(dòng)適應(yīng)情境，橫掃五大基準(zhǔn)測(cè)試

該團(tuán)隊(duì)在 ToMi、BigToM、MMToM-QA、MuMA-ToM 和 Hi-ToM 五個(gè)測(cè)試基準(zhǔn)上進(jìn)行了測(cè)試。這些基準(zhǔn)覆蓋了不同的心理變量、環(huán)境、agent 數(shù)量、有無(wú)語(yǔ)言表達(dá)、措辭風(fēng)格以及模態(tài)類型。

與 AutoToM 不同，許多近年來(lái)的 ToM 方法只能應(yīng)用于特定的基準(zhǔn)測(cè)試。而在通用的方法中，AutoToM 在所有基準(zhǔn)測(cè)試中都取得了最優(yōu)的表現(xiàn)。

AutoToM 和 baselines 在所有基準(zhǔn)測(cè)試上的表現(xiàn)。

本文的消融研究突出了 AutoToM 在變量調(diào)整、時(shí)間步調(diào)整和假設(shè)減少方面的優(yōu)勢(shì)。AutoToM 能夠構(gòu)建一個(gè)合適的模型，該模型不僅支持豐富的 ToM 推理，還能減少計(jì)算量，在準(zhǔn)確性和成本之間取得平衡。

AutoToM 及其消融方法在所有基準(zhǔn)測(cè)試中的平均正確率與計(jì)算量。

總結(jié)和展望

總的來(lái)說(shuō)，AutoToM 是一個(gè) ToM 推理任務(wù)的新穎框架。面對(duì)任何 ToM 推理問(wèn)題，AutoToM 都可以自動(dòng)構(gòu)建一個(gè)合適的 BToM 模型，并借助 LLM 執(zhí)行自動(dòng)的貝葉斯逆向規(guī)劃。 

AutoToM 在所有測(cè)試上取得了最好的結(jié)果，這是因?yàn)?BIP 在面對(duì)復(fù)雜環(huán)境和較長(zhǎng)上下文時(shí)可以穩(wěn)健地推理。此外，AutoToM 具有可解釋性，能夠通過(guò)其發(fā)現(xiàn)的概率模型來(lái)解釋模型的判斷過(guò)程。

該論文為實(shí)現(xiàn)更具人類思維特征的推理方式，以及構(gòu)建具有人類認(rèn)知基礎(chǔ)、具備可擴(kuò)展性、穩(wěn)健性和開(kāi)放性的心理能力模型，指明了一個(gè)有前景的方向。該論文也引發(fā)了關(guān)于 inference-time compute，以及可擴(kuò)展的 model-based inference 的廣泛討論。