讓智能體在不斷變化的環(huán)境中動(dòng)態(tài)適應(yīng)、并有效合作是一個(gè)巨大的挑戰(zhàn)，特別是當(dāng)智能體需要與陌生的智能體互動(dòng)時(shí)，傳統(tǒng)訓(xùn)練方法往往表現(xiàn)不佳。這種情況下，引入逆向注意力智能體（Inverse Attention Agents）成為了一種創(chuàng)新且有效的解決方案。

逆向注意力智能體的核心在于借鑒“心智理論”（Theory of Mind, ToM），通過注意力機(jī)制來推斷其他智能體的目標(biāo)和行為，并據(jù)此調(diào)整自己的行動(dòng)。這種方法不僅能夠提升智能體在合作任務(wù)中的表現(xiàn)，還能在競(jìng)爭(zhēng)和混合環(huán)境中表現(xiàn)出色。這一創(chuàng)新性的策略為多智能體系統(tǒng)的自發(fā)合作提供了新的思路，顯著改善了智能體在面對(duì)未見過的智能體時(shí)的適應(yīng)能力。

提出逆向注意力智能體理論的是來自加州大學(xué)洛杉磯分校的團(tuán)隊(duì)，他們研究目的在于設(shè)計(jì)和驗(yàn)證一種能夠在多變環(huán)境中動(dòng)態(tài)適應(yīng)的新型智能體訓(xùn)練方法——逆向注意力智能體。通過在多種環(huán)境中進(jìn)行實(shí)驗(yàn)，研究團(tuán)隊(duì)展示了這種方法在提升智能體協(xié)作性能方面的顯著效果。逆向注意力智能體的創(chuàng)新點(diǎn)在于其對(duì)注意力權(quán)重的推斷和更新機(jī)制，這一機(jī)制使得智能體能夠基于對(duì)其他智能體注意力狀態(tài)的推斷，調(diào)整自身的行動(dòng)，從而實(shí)現(xiàn)更為靈活和高效的合作。他們的論文《Inverse Attention Agent for Multi-Agent System》 10 月 30 日發(fā)表于arXiv。

這個(gè)研究團(tuán)隊(duì)由來自加州大學(xué)洛杉磯分校（UCLA）的五位學(xué)者組成，分別來自計(jì)算機(jī)科學(xué)系、統(tǒng)計(jì)與數(shù)據(jù)科學(xué)系以及傳播學(xué)系。團(tuán)隊(duì)成員包括：Qian Long、Ruoyan Li、

Minglu Zhao、Tao Gao、Demetri Terzopoulos。他們結(jié)合了計(jì)算機(jī)科學(xué)、數(shù)據(jù)科學(xué)和傳播學(xué)的專業(yè)知識(shí)，共同探索多智能體系統(tǒng)中的逆向注意力智能體，為該領(lǐng)域的研究提供了新的視角和方法。

相關(guān)工作

在多智能體系統(tǒng)（MAS）的發(fā)展歷程中，研究者們不斷探索如何提高智能體在復(fù)雜環(huán)境中的協(xié)作和適應(yīng)能力。心智理論（Theory of Mind, ToM）作為人類理解他人心理狀態(tài)的能力，其概念引入MAS，為實(shí)現(xiàn)智能體之間的高效合作提供了新的路徑。ToM研究的一個(gè)核心目標(biāo)是讓智能體能夠推測(cè)和理解其他智能體的內(nèi)部狀態(tài)，從而制定更為有效的協(xié)作策略。在這一領(lǐng)域，注意力機(jī)制的引入為改進(jìn)智能體的決策和協(xié)作能力提供了重要工具。

心智理論最早由心理學(xué)家提出，旨在解釋人類如何理解和預(yù)測(cè)他人的心理狀態(tài)。它包括對(duì)信念、欲望、意圖等心理狀態(tài)的推斷能力。在多智能體系統(tǒng)中，ToM被用來設(shè)計(jì)能夠模擬人類推理和決策過程的智能體，以實(shí)現(xiàn)更自然的協(xié)作。早期的ToM研究主要采用貝葉斯方法，通過觀測(cè)其他智能體的行為來推斷其心理狀態(tài)。這種方法提供了一個(gè)系統(tǒng)化的推理框架，但由于計(jì)算復(fù)雜度高，在大規(guī)模多智能體系統(tǒng)中應(yīng)用存在一定困難。

近年來，隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的興起，研究者們開始探索將ToM直接整合到神經(jīng)網(wǎng)絡(luò)架構(gòu)中的可能性。通過數(shù)據(jù)驅(qū)動(dòng)的方法，智能體可以在互動(dòng)中學(xué)習(xí)和表示其他智能體的心理狀態(tài)。特別是自注意力機(jī)制的發(fā)展，為智能體的狀態(tài)推斷和行為調(diào)整提供了新的手段。自注意力機(jī)制允許智能體根據(jù)觀察到的信息分配不同的權(quán)重，從而在決策過程中突出最重要的信息。這種方法不僅提高了推理的準(zhǔn)確性，還增強(qiáng)了智能體在動(dòng)態(tài)環(huán)境中的適應(yīng)能力。

在此基礎(chǔ)上，逆向注意力智能體（Inverse Attention Agents）應(yīng)運(yùn)而生。該方法通過逆向推斷其他智能體的注意力狀態(tài)，并根據(jù)這些推斷結(jié)果調(diào)整自身的行為。逆向注意力智能體的創(chuàng)新在于其能夠推測(cè)其他智能體的目標(biāo)和行為，并實(shí)時(shí)調(diào)整自己的行動(dòng)策略，從而在各種復(fù)雜環(huán)境中表現(xiàn)出色。

即席團(tuán)隊(duì)合作（Ad-Hoc Teaming）是多智能體系統(tǒng)中一個(gè)具有挑戰(zhàn)性的研究課題。即席合作要求智能體能夠在沒有預(yù)先協(xié)調(diào)和策略一致性的情況下，與陌生隊(duì)友進(jìn)行高效合作。這種情境在現(xiàn)實(shí)世界中非常常見，例如災(zāi)難救援、無人機(jī)編隊(duì)以及多智能體機(jī)器人系統(tǒng)中。然而，實(shí)現(xiàn)即席合作需要智能體具備快速適應(yīng)和協(xié)調(diào)的能力，這對(duì)傳統(tǒng)的訓(xùn)練方法提出了巨大挑戰(zhàn)。

現(xiàn)有的即席團(tuán)隊(duì)合作方法主要集中在以下幾個(gè)方面。

基于類型的推理：將隊(duì)友表示為假設(shè)的行為類型，通過推斷隊(duì)友屬于哪種類型來選擇合適的行動(dòng)策略。這種方法在一定程度上解決了陌生隊(duì)友之間的協(xié)作問題，但其推理過程復(fù)雜，且依賴于預(yù)先設(shè)定的類型分類。

基于神經(jīng)網(wǎng)絡(luò)的推理：通過神經(jīng)網(wǎng)絡(luò)從觀察數(shù)據(jù)中學(xué)習(xí)隊(duì)友的行為類型。這種方法具有較好的泛化能力，但其訓(xùn)練過程需要大量數(shù)據(jù)支持，且在應(yīng)對(duì)動(dòng)態(tài)變化時(shí)可能表現(xiàn)不穩(wěn)定。

共享代理框架：依賴于組級(jí)心理狀態(tài)的協(xié)調(diào)，在智能體之間建立對(duì)任務(wù)和目標(biāo)的共同理解。這種方法可以有效減少推理的復(fù)雜性，但其靈活性和適應(yīng)性較差，難以應(yīng)對(duì)多樣化和動(dòng)態(tài)變化的環(huán)境。

逆向注意力智能體的出現(xiàn)，為解決即席團(tuán)隊(duì)合作中的挑戰(zhàn)提供了新的思路。通過逆向推斷和調(diào)整注意力權(quán)重，逆向注意力智能體能夠更好地理解隊(duì)友的目標(biāo)和行為，并根據(jù)推斷結(jié)果實(shí)時(shí)調(diào)整自己的行動(dòng)策略。這種方法不僅提高了智能體的協(xié)作能力，還增強(qiáng)了其在動(dòng)態(tài)環(huán)境中的適應(yīng)性。

馬爾可夫博弈及梯度場(chǎng)表示

在討論逆向注意力智能體的具體方法之前，首先需要了解一些基礎(chǔ)概念，即多智能體馬爾可夫決策過程（MDP）和梯度場(chǎng)（GF）表示。

圖1：訓(xùn)練反向注意力代理的管道：第一階段涉及應(yīng)用自我注意力機(jī)制，其中代理為其觀察值分配注意力權(quán)重，并根據(jù)這些權(quán)重采取行動(dòng)。在第二階段，智能體使用逆注意力網(wǎng)絡(luò)對(duì)同類型的其他智能體進(jìn)行注意力推理。通過將自己置于這些智能體的位置，它推斷出它們的注意力權(quán)重，從而了解它們的目標(biāo)和行為。在最后階段，反向注意力代理使用從上一步推斷出的信息將其原始注意力權(quán)重{w1，w2，…，wn}更新為{w^1，w^2，……，w^n}，從而導(dǎo)致其最終動(dòng)作的變化。

多智能體馬爾可夫決策過程（MDP）是一種框架，用于建模多個(gè)智能體在環(huán)境中的交互過程。MDP通常由以下幾個(gè)要素組成：

• 狀態(tài)集S：表示環(huán)境的所有可能狀態(tài)。
• 動(dòng)作集Ai：每個(gè)智能體i的所有可能動(dòng)作。
• 狀態(tài)轉(zhuǎn)移函數(shù)T：描述了在每個(gè)狀態(tài)下，各智能體選擇不同動(dòng)作后，環(huán)境狀態(tài)的變化情況，記為T: S × A1 × · · · × AN → Δ(S)。
• 獎(jiǎng)勵(lì)函數(shù)Ri：每個(gè)智能體i根據(jù)當(dāng)前狀態(tài)和所有智能體的動(dòng)作獲得的獎(jiǎng)勵(lì)，記為Ri: S × A1 × · · · × AN → R。
• 策略πi：智能體i在每個(gè)狀態(tài)下選擇動(dòng)作的概率分布，旨在最大化其期望的累計(jì)折扣獎(jiǎng)勵(lì)，記為E[∑γ^t Ri(st, a1,t, ..., aN,t)]。

在多智能體強(qiáng)化學(xué)習(xí)（MARL）的背景下，智能體通過與環(huán)境和其他智能體的互動(dòng)，不斷學(xué)習(xí)優(yōu)化其策略πi，以便在復(fù)雜環(huán)境中實(shí)現(xiàn)最佳的長(zhǎng)期收益。

梯度場(chǎng)（GF）表示是一種在多智能體系統(tǒng)中用于增強(qiáng)智能體環(huán)境感知和決策能力的高級(jí)表示方法。相比于直接使用環(huán)境的原始觀察，GF能夠提供更高層次的信息，幫助智能體更好地理解環(huán)境并做出更明智的決策。

具體來說，GF通過學(xué)習(xí)環(huán)境中數(shù)據(jù)的對(duì)數(shù)密度梯度場(chǎng)，即得分函數(shù)，來構(gòu)建更具代表性的環(huán)境表示。這一過程利用去噪得分匹配（DSM）生成模型，通過多個(gè)不同噪聲級(jí)別的數(shù)據(jù)來訓(xùn)練得分網(wǎng)絡(luò)，使其能夠近似環(huán)境中數(shù)據(jù)的真實(shí)得分函數(shù)。GF表示可以看作智能體在特定環(huán)境中的目標(biāo)，與相對(duì)坐標(biāo)等原始觀察相比，GF能夠更直接地表示與智能體目標(biāo)一致的未來趨勢(shì)，從而提高智能體的決策效率和準(zhǔn)確性。

理解了MDP和GF的基礎(chǔ)知識(shí)后，我們可以更深入地探討逆向注意力智能體的方法。逆向注意力智能體通過引入自注意力機(jī)制和逆向注意力推理網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)其他智能體的注意力狀態(tài)的推斷和自身行為的調(diào)整。

首先，智能體通過自注意力機(jī)制為觀察到的信息賦予不同的權(quán)重，從而在決策過程中突出最重要的信息。在訓(xùn)練過程中，智能體會(huì)收集這些權(quán)重?cái)?shù)據(jù)，形成訓(xùn)練數(shù)據(jù)集。然后使用這些數(shù)據(jù)訓(xùn)練逆向注意力推理網(wǎng)絡(luò)，使其能夠根據(jù)觀察到的其他智能體的行為和目標(biāo)，推斷其注意力權(quán)重。

一旦逆向注意力網(wǎng)絡(luò)完成訓(xùn)練，智能體就可以將其應(yīng)用于實(shí)時(shí)環(huán)境中，通過推斷其他智能體的注意力狀態(tài)，調(diào)整自己的行動(dòng)策略。這種方法不僅提高了智能體的協(xié)作能力，還增強(qiáng)了其在動(dòng)態(tài)環(huán)境中的適應(yīng)性。

為了驗(yàn)證逆向注意力智能體的有效性，研究團(tuán)隊(duì)在多個(gè)復(fù)雜環(huán)境中進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，逆向注意力智能體在多種任務(wù)中表現(xiàn)優(yōu)越，包括合作、競(jìng)爭(zhēng)以及混合任務(wù)。通過與傳統(tǒng)方法的比較，逆向注意力智能體在適應(yīng)性和協(xié)作效率方面表現(xiàn)出顯著的優(yōu)勢(shì)。

特別是在即席團(tuán)隊(duì)合作的場(chǎng)景中，逆向注意力智能體能夠快速適應(yīng)新隊(duì)友和新環(huán)境，實(shí)現(xiàn)高效合作。這一結(jié)果表明，通過逆向推斷和調(diào)整注意力狀態(tài)，智能體能夠更好地理解和響應(yīng)其他智能體的行為，從而在多智能體系統(tǒng)中取得更佳表現(xiàn)。

問題定義

在多智能體系統(tǒng)（MAS）中，各個(gè)智能體在環(huán)境中自主行動(dòng)，協(xié)調(diào)合作以實(shí)現(xiàn)共同目標(biāo)。為了在復(fù)雜且動(dòng)態(tài)的環(huán)境中有效運(yùn)作，智能體需要制定去中心化的策略，這意味著每個(gè)智能體都能獨(dú)立決策，而不依賴于中央控制系統(tǒng)。研究團(tuán)隊(duì)提出了一種創(chuàng)新的逆向注意力智能體（Inverse Attention Agents），旨在提升智能體在這些條件下的協(xié)作能力。

在完全可觀察的多智能體環(huán)境中，每個(gè)智能體可以獲取關(guān)于其他智能體的所有信息，包括其行動(dòng)和狀態(tài)。這種全知全能的環(huán)境設(shè)定為研究逆向注意力智能體提供了理想條件。在這樣的環(huán)境中，智能體通過對(duì)其他智能體行為的觀察，推斷其內(nèi)在狀態(tài)，從而優(yōu)化自己的決策過程。然而這也帶來了新的挑戰(zhàn)，需要智能體具備高度的靈活性和適應(yīng)能力。

去中心化策略目標(biāo)

去中心化策略的目標(biāo)是讓每個(gè)智能體獨(dú)立地學(xué)習(xí)和執(zhí)行決策，以實(shí)現(xiàn)整體系統(tǒng)的最優(yōu)性能。在多智能體系統(tǒng)中，這一目標(biāo)尤其重要，因?yàn)楦鱾€(gè)智能體常常需要在沒有預(yù)先協(xié)調(diào)和統(tǒng)一指令的情況下進(jìn)行合作。為了實(shí)現(xiàn)這一目標(biāo)，智能體需要在以下幾個(gè)方面進(jìn)行優(yōu)化：

1. 自主決策：每個(gè)智能體都能夠基于自身的觀測(cè)和經(jīng)驗(yàn)，獨(dú)立制定最優(yōu)策略。
2. 動(dòng)態(tài)適應(yīng)：智能體能夠根據(jù)環(huán)境和其他智能體行為的變化，實(shí)時(shí)調(diào)整其策略。
3. 高效協(xié)作：智能體能夠在沒有中央控制的情況下，通過推斷和預(yù)測(cè)其他智能體的行為，實(shí)現(xiàn)高效合作。

目標(biāo)實(shí)現(xiàn)所需的條件和挑戰(zhàn)

為了實(shí)現(xiàn)去中心化策略目標(biāo)，逆向注意力智能體需要滿足以下三個(gè)條件。

1. 全面的環(huán)境感知能力：智能體需要能夠全面感知環(huán)境中的信息，包括其他智能體的狀態(tài)和行動(dòng)。這要求智能體具備高效的感知和信息處理能力。
2. 準(zhǔn)確的狀態(tài)推斷能力：智能體需要能夠準(zhǔn)確推斷其他智能體的內(nèi)在狀態(tài)，包括其目標(biāo)和意圖。這需要智能體具備強(qiáng)大的推理和預(yù)測(cè)能力。
3. 靈活的策略調(diào)整能力：智能體需要能夠根據(jù)推斷結(jié)果，靈活調(diào)整自身的策略，以實(shí)現(xiàn)最優(yōu)決策。這要求智能體具備快速學(xué)習(xí)和適應(yīng)能力。

在實(shí)現(xiàn)這些條件的過程中，逆向注意力智能體面臨以下幾個(gè)主要挑戰(zhàn)：

信息處理的復(fù)雜性：在完全可觀察的環(huán)境中，智能體需要處理大量的信息，包括其他智能體的狀態(tài)和行動(dòng)。這要求智能體具備高效的信息處理和存儲(chǔ)能力。

狀態(tài)推斷的準(zhǔn)確性：智能體需要能夠準(zhǔn)確推斷其他智能體的內(nèi)在狀態(tài)，這對(duì)于實(shí)現(xiàn)高效合作至關(guān)重要。然而，推斷過程往往涉及復(fù)雜的計(jì)算和不確定性，可能導(dǎo)致推斷結(jié)果的偏差。

策略調(diào)整的實(shí)時(shí)性：智能體需要能夠根據(jù)環(huán)境變化和推斷結(jié)果，實(shí)時(shí)調(diào)整其策略。這要求智能體具備快速響應(yīng)和適應(yīng)能力，以應(yīng)對(duì)動(dòng)態(tài)變化的環(huán)境。

通過引入逆向注意力機(jī)制，研究團(tuán)隊(duì)提出的方法在一定程度上克服了上述挑戰(zhàn)。逆向注意力智能體通過對(duì)其他智能體行為的逆向推斷，調(diào)整自身的注意力權(quán)重，從而優(yōu)化決策過程。這種方法不僅提高了智能體的協(xié)作能力，還增強(qiáng)了其在動(dòng)態(tài)環(huán)境中的適應(yīng)性。

逆向注意力智能體的方法論

為了實(shí)現(xiàn)上述目標(biāo)，研究團(tuán)隊(duì)采用了以下步驟來構(gòu)建逆向注意力智能體。

通過自我注意機(jī)制，智能體能夠?yàn)槠溆^察到的信息分配不同的權(quán)重，從而在決策過程中突出最重要的信息。這個(gè)階段還為訓(xùn)練逆向注意力網(wǎng)絡(luò)準(zhǔn)備了必要的數(shù)據(jù)。

在收集了足夠的數(shù)據(jù)對(duì)之后，使用這些數(shù)據(jù)訓(xùn)練逆向注意力推理網(wǎng)絡(luò)。該網(wǎng)絡(luò)能夠基于其他智能體的目標(biāo)和行動(dòng)，推斷其注意力權(quán)重。

使用訓(xùn)練好的逆向注意力網(wǎng)絡(luò)，智能體能夠?qū)崟r(shí)推斷其他智能體的注意力狀態(tài)，并根據(jù)推斷結(jié)果調(diào)整自己的策略。

這種方法不僅實(shí)現(xiàn)了智能體間的高效協(xié)作，還顯著提升了智能體在面對(duì)未知環(huán)境和未見過的智能體時(shí)的適應(yīng)能力。實(shí)驗(yàn)結(jié)果表明，逆向注意力智能體在多種任務(wù)中表現(xiàn)優(yōu)越，無論是合作任務(wù)、競(jìng)爭(zhēng)任務(wù)還是混合任務(wù)，都表現(xiàn)出了強(qiáng)大的適應(yīng)性和高效性。

方法介紹

在多智能體系統(tǒng)（MAS）中，各個(gè)智能體如何在動(dòng)態(tài)復(fù)雜的環(huán)境中進(jìn)行有效合作，是一個(gè)重要的研究課題。研究團(tuán)隊(duì)提出了一種創(chuàng)新的逆向注意力智能體（Inverse Attention Agents），通過引入自我注意機(jī)制和注意力推理網(wǎng)絡(luò)，優(yōu)化智能體的決策過程

自我注意機(jī)制的應(yīng)用與數(shù)據(jù)準(zhǔn)備

逆向注意力智能體首先利用自我注意機(jī)制來處理觀察到的信息。自我注意機(jī)制允許智能體根據(jù)環(huán)境中的不同目標(biāo)分配注意力權(quán)重，從而在決策過程中突出最重要的信息。這一機(jī)制的引入，使得智能體能夠更靈活地應(yīng)對(duì)環(huán)境變化，并在處理大量信息時(shí)保持高效。

圖2：逆向注意力代理的網(wǎng)絡(luò)架構(gòu)。對(duì)于代理i，Wi是觀察嵌入函數(shù)，它接收觀察并輸出初始注意力權(quán)重。IWi是一個(gè)逆向注意力網(wǎng)絡(luò)，它接收其他智能體的動(dòng)作和觀察，并輸出推斷出的注意力權(quán)重。UWi考慮了自初始權(quán)重和從他人推斷的權(quán)重，并更新了ai的注意力權(quán)重。hi函數(shù)根據(jù)更新的權(quán)重輸出最終動(dòng)作。

在具體應(yīng)用中，智能體通過一個(gè)自我注意網(wǎng)絡(luò)（Self-Attention Network）來處理其觀測(cè)到的狀態(tài)信息。該網(wǎng)絡(luò)將觀測(cè)到的狀態(tài)進(jìn)行嵌入（embedding），并通過注意力機(jī)制計(jì)算出各個(gè)目標(biāo)的權(quán)重。然后，智能體根據(jù)這些權(quán)重來決定其下一步的行動(dòng)。

在訓(xùn)練過程中，智能體會(huì)不斷收集其注意力權(quán)重和對(duì)應(yīng)的觀察數(shù)據(jù)對(duì)（wi, oi），并將這些數(shù)據(jù)存儲(chǔ)在一個(gè)訓(xùn)練數(shù)據(jù)集中（Dataset D）。這些數(shù)據(jù)為后續(xù)訓(xùn)練注意力推理網(wǎng)絡(luò)提供了必要的基礎(chǔ)。

注意力推理網(wǎng)絡(luò)的訓(xùn)練和逆向注意力智能體的構(gòu)建

有了自我注意機(jī)制收集的數(shù)據(jù)，下一步是訓(xùn)練注意力推理網(wǎng)絡(luò)（Attention Inference Network）。該網(wǎng)絡(luò)的目標(biāo)是根據(jù)觀察到的其他智能體的行為，推斷其注意力狀態(tài)。

具體而言，注意力推理網(wǎng)絡(luò)通過以下步驟進(jìn)行訓(xùn)練：

1. 數(shù)據(jù)收集：從自我注意網(wǎng)絡(luò)訓(xùn)練的過程中，收集注意力權(quán)重和觀察數(shù)據(jù)對(duì)，并保存在數(shù)據(jù)集中。
2. 訓(xùn)練目標(biāo)：利用收集的數(shù)據(jù)集，訓(xùn)練一個(gè)逆向注意力推理網(wǎng)絡(luò)。該網(wǎng)絡(luò)的輸入是其他智能體的觀察數(shù)據(jù)，輸出是推斷的注意力權(quán)重。
3. 損失函數(shù)：通過最小化預(yù)測(cè)權(quán)重和實(shí)際權(quán)重之間的誤差，來優(yōu)化推理網(wǎng)絡(luò)的性能。

逆向注意力智能體通過逆向注意力推理網(wǎng)絡(luò)，將其他智能體的注意力狀態(tài)和自身狀態(tài)結(jié)合起來，形成新的注意力權(quán)重。這些更新后的注意力權(quán)重，使智能體能夠更好地適應(yīng)環(huán)境變化，并在合作和競(jìng)爭(zhēng)中做出更優(yōu)決策。

逆向注意力智能體的整體架構(gòu)與策略

逆向注意力智能體的整體架構(gòu)由多個(gè)網(wǎng)絡(luò)模塊組成，每個(gè)模塊在訓(xùn)練和決策過程中發(fā)揮特定的作用。

首先，智能體通過自我注意網(wǎng)絡(luò)來處理其觀測(cè)到的環(huán)境信息，計(jì)算并分配注意力權(quán)重。這些注意力權(quán)重用于決定智能體的初始行動(dòng)策略。在訓(xùn)練過程中，智能體會(huì)不斷收集這些權(quán)重和觀察數(shù)據(jù)，形成訓(xùn)練數(shù)據(jù)集。

接下來，智能體利用這些數(shù)據(jù)，訓(xùn)練逆向注意力推理網(wǎng)絡(luò)。該網(wǎng)絡(luò)基于其他智能體的觀察和行為，推斷其注意力狀態(tài)。推理網(wǎng)絡(luò)的輸出與智能體的原始注意力權(quán)重結(jié)合，形成新的注意力權(quán)重。

最后，智能體通過一個(gè)權(quán)重更新模型（Weight Updating Model），將推斷的注意力權(quán)重和自身的原始權(quán)重結(jié)合，并通過一個(gè)全連接網(wǎng)絡(luò)更新其最終注意力權(quán)重。基于這些更新后的權(quán)重，智能體能夠在不同環(huán)境中實(shí)時(shí)調(diào)整其策略，做出更優(yōu)的決策。

逆向注意力智能體的策略實(shí)現(xiàn)過程如下：

初始階段：應(yīng)用自我注意機(jī)制，對(duì)觀測(cè)到的環(huán)境信息進(jìn)行處理，并為各個(gè)目標(biāo)分配初始注意力權(quán)重。

推理階段：使用逆向注意力推理網(wǎng)絡(luò)，基于其他智能體的行為和目標(biāo)，推斷其注意力狀態(tài)。

更新階段：將推斷的注意力權(quán)重與自身的原始權(quán)重結(jié)合，通過權(quán)重更新模型，優(yōu)化最終的注意力權(quán)重。

實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證逆向注意力智能體的有效性，研究團(tuán)隊(duì)在多個(gè)復(fù)雜環(huán)境中進(jìn)行了實(shí)驗(yàn)。這些環(huán)境包括完全合作游戲、完全競(jìng)爭(zhēng)游戲以及混合游戲，每種環(huán)境都具有不同的挑戰(zhàn)和特性。實(shí)驗(yàn)結(jié)果表明，逆向注意力智能體在這些環(huán)境中表現(xiàn)出色，無論是在合作、競(jìng)爭(zhēng)還是混合任務(wù)中，都顯著優(yōu)于傳統(tǒng)方法。

特別是在即席團(tuán)隊(duì)合作場(chǎng)景中，逆向注意力智能體能夠快速適應(yīng)新隊(duì)友和新環(huán)境，實(shí)現(xiàn)高效合作。這一結(jié)果證明，通過逆向推斷和調(diào)整注意力狀態(tài)，智能體能夠更好地理解和響應(yīng)其他智能體的行為，從而在多智能體系統(tǒng)中取得更佳表現(xiàn)。

實(shí)驗(yàn)環(huán)境與基線方法的選擇

圖3：傳播、對(duì)手和草原游戲的環(huán)境可視化。

本研究在多個(gè)實(shí)驗(yàn)環(huán)境中驗(yàn)證了逆向注意力智能體的性能，這些環(huán)境包括：

• Spread：一個(gè)完全合作的游戲，智能體需要在多個(gè)地標(biāo)間進(jìn)行分布。
• Adversary：一個(gè)完全競(jìng)爭(zhēng)的游戲，涉及“狼”和“羊”兩種智能體類型，狼捕捉羊，而羊試圖逃脫。
• Grassland：一個(gè)混合游戲，包含“羊”、捕捉它們的“狼”、以及可以收集的“草”。
• Navigation：一個(gè)需要智能體導(dǎo)航到不同地標(biāo)的合作游戲。
• Tag：一個(gè)混合游戲，狼追逐羊并盡量避開障礙物。

為了進(jìn)行比較，研究團(tuán)隊(duì)選擇了幾種基線方法：

1. MAPPO：多智能體近端策略優(yōu)化算法（Multi-Agent Proximal Policy Optimization）。
2. IPPO：個(gè)體近端策略優(yōu)化算法（Individual Proximal Policy Optimization）。
3. MAA2C：多智能體優(yōu)勢(shì)演員評(píng)論算法（Multi-Agent Advantage Actor-Critic）。
4. ToM2C*：改編自 Wang 等人的心智理論方法。
5. Self-Att：采用研究團(tuán)隊(duì)5.1節(jié)提到的自注意力結(jié)構(gòu)。
6. Inverse-Att：研究團(tuán)隊(duì)提出的逆向注意力智能體。

所有基線方法均經(jīng)過相同量的訓(xùn)練，確保在評(píng)估期間不會(huì)接觸到其他方法的智能體，以保證公平性。

量化結(jié)果分析與討論

在量化分析中，研究團(tuán)隊(duì)對(duì)所有實(shí)驗(yàn)環(huán)境中的智能體進(jìn)行了訓(xùn)練和評(píng)估。在Spread游戲中，各個(gè)方法的表現(xiàn)如表1所示：

MAPPO、IPPO、MAA2C在合作任務(wù)中的表現(xiàn)相對(duì)較差。

Self-Att 和 Inverse-Att 的表現(xiàn)顯著優(yōu)于其他方法，尤其是 Inverse-Att 在多個(gè)環(huán)境中展現(xiàn)了卓越的合作和競(jìng)爭(zhēng)能力。

這一結(jié)果表明，逆向注意力智能體在多種任務(wù)中都能保持穩(wěn)定且優(yōu)越的表現(xiàn)，不僅適用于合作任務(wù)，也能在競(jìng)爭(zhēng)和混合任務(wù)中展現(xiàn)出色的適應(yīng)性。

不同規(guī)模下的逆向注意力智能體性能測(cè)試

為了進(jìn)一步驗(yàn)證逆向注意力智能體的可擴(kuò)展性，研究團(tuán)隊(duì)在不同規(guī)模的智能體環(huán)境中進(jìn)行了測(cè)試。具體而言，在Spread、Adversary和Grassland游戲中，評(píng)估了2、3、4個(gè)智能體的情況。

結(jié)果顯示，逆向注意力智能體在所有測(cè)試規(guī)模下均表現(xiàn)出色，特別是在合作相關(guān)的游戲中。這一發(fā)現(xiàn)證明了逆向注意力智能體不僅能適應(yīng)多樣化的環(huán)境，還能有效擴(kuò)展到更大規(guī)模的多智能體系統(tǒng)中。

與人類參與者的合作實(shí)驗(yàn)結(jié)果

為了評(píng)估逆向注意力智能體在實(shí)際合作場(chǎng)景中的適應(yīng)性，研究團(tuán)隊(duì)進(jìn)行了人類實(shí)驗(yàn)。在Spread、Grassland和Adversary游戲中，五名參與者與智能體合作完成任務(wù)。實(shí)驗(yàn)結(jié)果表明，Self-Att 和 Inverse-Att智能體在多數(shù)環(huán)境中表現(xiàn)優(yōu)于人類參與者，尤其是在適應(yīng)性和穩(wěn)定性方面。

圖4：我們?cè)u(píng)估了在{傳播：3，對(duì)抗：3?3和草原：3-3}的尺度下，反向注意力網(wǎng)絡(luò)在傳播、對(duì)手和草原環(huán)境中的五個(gè)角色的預(yù)測(cè)準(zhǔn)確性。在每個(gè)條形圖中，從左到右，我們顯示了從參與人數(shù)最多的目標(biāo)到參與人數(shù)最少的目標(biāo)的預(yù)測(cè)精度。結(jié)果表明，逆網(wǎng)絡(luò)可以準(zhǔn)確地預(yù)測(cè)其他智能體的注意力，特別是對(duì)前兩個(gè)感興趣的注意力。

這表明，逆向注意力智能體不僅在模擬環(huán)境中表現(xiàn)出色，也能在實(shí)際合作場(chǎng)景中與人類有效互動(dòng)，展示出強(qiáng)大的適應(yīng)能力和協(xié)作潛力。

多個(gè)逆向注意力智能體的影響分析

研究團(tuán)隊(duì)還探討了多個(gè)逆向注意力智能體同時(shí)存在時(shí)的影響。通過逐漸替換MAPPO智能體為逆向注意力智能體，實(shí)驗(yàn)發(fā)現(xiàn)，隨著逆向注意力智能體數(shù)量的增加，團(tuán)隊(duì)總獎(jiǎng)勵(lì)呈現(xiàn)非線性遞增模式。

這一發(fā)現(xiàn)強(qiáng)調(diào)了逆向注意力智能體在多智能體系統(tǒng)中的協(xié)作優(yōu)勢(shì)，證明了其能夠與其他智能體高效合作，從而在復(fù)雜任務(wù)中取得更佳的表現(xiàn)。

逆向注意力網(wǎng)絡(luò)的預(yù)測(cè)精度

為了驗(yàn)證逆向注意力網(wǎng)絡(luò)的預(yù)測(cè)精度，研究團(tuán)隊(duì)收集了大量的權(quán)重觀察數(shù)據(jù)對(duì)，作為注意力的基準(zhǔn)。通過將這些數(shù)據(jù)輸入逆向注意力網(wǎng)絡(luò)，并比較預(yù)測(cè)結(jié)果與基準(zhǔn)的差異，發(fā)現(xiàn)逆向注意力網(wǎng)絡(luò)能夠準(zhǔn)確預(yù)測(cè)其他智能體的注意力狀態(tài)，特別是在最重要的兩個(gè)注意力目標(biāo)上，預(yù)測(cè)精度接近100%。

這一結(jié)果證明了逆向注意力網(wǎng)絡(luò)在推斷其他智能體注意力狀態(tài)方面的高效性和準(zhǔn)確性，為智能體的實(shí)時(shí)決策提供了可靠支持。

未來工作

雖然研究團(tuán)隊(duì)的研究已經(jīng)取得了顯著成果，但未來仍有許多值得探索的方向。首先，目前的逆向注意力智能體主要針對(duì)同類型智能體的推理，未來可以進(jìn)一步研究不同類型智能體之間的心智理論建模，以提升智能體在多樣化環(huán)境中的適應(yīng)性和協(xié)作能力。此外，研究團(tuán)隊(duì)還計(jì)劃開發(fā)一種能夠處理任意數(shù)量推斷注意力權(quán)重的UW網(wǎng)絡(luò)模型，從而增強(qiáng)智能體在復(fù)雜任務(wù)中的靈活性。

逆向注意力智能體的廣泛影響主要體現(xiàn)在其在多智能體強(qiáng)化學(xué)習(xí)（MARL）中的應(yīng)用潛力。通過推斷和調(diào)整注意力狀態(tài)，逆向注意力智能體能夠在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)更為高效的協(xié)作和決策。這一創(chuàng)新方法有望在多個(gè)實(shí)際應(yīng)用場(chǎng)景中發(fā)揮作用，如機(jī)器人群體協(xié)作、智能交通管理、無人機(jī)編隊(duì)等。

在智能社會(huì)的發(fā)展中，自主系統(tǒng)的智能化和協(xié)作能力至關(guān)重要。逆向注意力智能體通過引入心智理論和注意力機(jī)制，為自主系統(tǒng)的智能化提供了新的路徑。隨著這一領(lǐng)域研究的不斷深入，未來有望看到更多智能體在實(shí)際應(yīng)用中展現(xiàn)出強(qiáng)大的協(xié)作和適應(yīng)能力，從而推動(dòng)技術(shù)進(jìn)步和社會(huì)發(fā)展。（END）

參考資料：https://arxiv.org/abs/2410.21794

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS