一年多以來，強化學習（RL）在許多重要的順序決策問題上取得了驚人的進展，隨著問題的復雜性不斷增加，研究領域也逐漸從單智能體強化學習算法轉向多智能體強化學習（MARL）算法，這些算法在各種領域中發揮著越來越重要的作用，如無人駕駛飛機、工業機器人、相機網絡和自動駕駛等。但是深度RL策略通常缺乏可解釋性，使得人類很難理解和信任這些策略。在多智能體系統（MAS）中，由于智能體之間的交互和依賴性，這一問題更為突出。

多智能體系統是一種由多個智能體組成的系統，這些智能體相互協作或競爭以實現特定目標。每個智能體在系統中都有其獨特的角色，并與其他智能體進行交互，共同完成任務。隨著MAS在各類應用中的普及，對其進行解釋變得日益迫切。盡管此前的研究已經針對智能體的行為或狀態提供了解釋，但仍未能充分理解黑箱智能體在MAS中的重要性以及整體團隊策略。

為了拓寬RL應用在關鍵領域的采用，有必要通過有效的解釋來增強RL智能體的透明性。現有的一些訓練中解釋RL方法可以同時在完成任務時提供模型的內在解釋，但它們不能在黑箱環境中工作。12 月 23 日，來自中國科學院軟件研究所的研究團隊提出了一種新穎的智能體級別解釋方法——EMAI，用于評估單個智能體的重要性，彌補了這一研究空白。通過反事實推理，EMAI通過評估智能體隨機行為引起的獎勵變化來衡量其重要性，從而提供更高保真度的解釋和更有效的實際應用指導，他們的論文《Understanding Individual Agent Importance in Multi-Agent System via Counterfactual Reasoning》同日發表于arXiv。

研究工作由多個機構的研究人員合作完成，主要團隊成員包括中國科學院軟件研究所（ISCAS）的Jianming Chen、Yawen Wang、Junjie Wang、Jun Hu、Qing Wang和Fanjiang Xu。研究團隊隸屬于綜合信息系統實驗室、國家智能游戲技術重點實驗室以及中國科學院大學。新加坡管理大學的Xiaofei Xie。這些研究人員在人工智能、多智能體系統和反事實推理等領域具備深厚的學術背景和豐富的研究經驗，致力于通過先進的技術提升系統的解釋能力和應用效果。

相關工作

隨著多智能體系統（MAS）在復雜任務中的應用逐漸普及，對智能體行為和決策的解釋需求變得日益迫切。研究領域中已經有許多關于強化學習（RL）解釋的工作，這些工作主要分為訓練中解釋和訓練后解釋。

在訓練中解釋方面，研究者們致力于設計能同時提供解釋的RL訓練算法。這些方法通常在任務執行過程中生成可解釋的中間結果，從而讓用戶了解智能體如何進行決策和完成任務。舉例來說，分層RL模型、模型近似方法以及信貸分配技術都是典型的訓練中解釋方法。然而，這些方法的主要目標是優化RL模型的性能，解釋能力往往只是附帶的，并且精度較低。此外，這類方法提供的解釋是模型自身生成的，無法用于解釋黑箱智能體。

相比之下，訓練后解釋方法則側重于在智能體訓練完成后解釋其決策過程和策略。根據解釋目標的不同，現有的訓練后解釋方法主要分為兩類：觀測級別的解釋和步驟級別的解釋。觀測級別的解釋方法通過構建顯著圖等手段，揭示觀察中對智能體決策影響最大的特征區域。而步驟級別的解釋方法則旨在找出整個過程中最關鍵的時間步，從而確定對最終獎勵起關鍵作用的時間節點。然而這些方法通常無法評估每個時間步中智能體的重要性，這在MAS中尤為重要。

反事實推理作為一種廣泛應用于監督學習模型解釋的方法，通過擾動輸入并觀察對結果的影響，揭示模型特定預測背后的原因。在多智能體系統中，反事實推理也被引入來解釋智能體的行為。例如，通過擾動智能體的行為并觀察獎勵變化，研究人員可以確定哪些行為對最終結果最為關鍵。盡管反事實推理在觀測級別和狀態級別的解釋中已經取得了一定進展，但在每個時間步上進行智能體級別解釋仍然是一個尚未充分探索的領域。

對于多智能體系統的現有解釋方法來說，存在一些顯著的局限性。許多方法在黑箱設置下無法有效工作，而只能在白箱設置中提供解釋。這些方法在處理智能體間復雜交互和時間步之間的依賴關系時，往往顯得力不從心。為了解決這些問題，研究團隊提出了一種基于反事實推理的EMAI方法，通過學習屏蔽智能體策略，有效評估每個時間步上目標智能體的重要性，從而提供更高保真度的解釋。

研究方法

目前的研究主要集中在智能體行為或狀態的解釋上，而對智能體在MAS中的重要性以及團隊整體策略的理解卻相對不足。研究團隊提出了一種名為EMAI（Explanation of Multi-Agent Importance）的新方法，旨在通過反事實推理評估單個智能體的重要性，以彌補這一研究空白。具體來說，EMAI通過評估智能體隨機行為引起的獎勵變化，來衡量智能體的重要性，并提供相應的解釋。

多智能體強化學習（MARL）問題涉及多個智能體在同一環境中相互協作或競爭，以最大化某一全局獎勵函數。在這種情境下，每個智能體都具有獨特的策略，并且其決策會影響整個系統的表現。在實際應用中，由于智能體之間存在復雜的交互關系和時間上的依賴性，導致MARL問題變得非常復雜。因此，為了能夠有效評估每個智能體的重要性，研究人員需要一種能夠捕捉這些復雜關系的方法。

目標智能體的重要性評估

在MAS中，評估單個智能體的重要性是理解其行為和系統整體表現的關鍵。具體而言，研究人員需要確定每個智能體在不同時間步上的重要性，以識別那些對系統表現至關重要的智能體?，F有的方法主要集中在通過擾動輸入來評估智能體的重要性，但這些方法往往無法有效處理多智能體系統中的復雜交互關系和依賴性。為了解決這一問題，研究團隊提出了一種基于反事實推理的方法，通過隨機化智能體的行為并觀察其對系統獎勵的影響，來評估智能體的重要性。

反事實推理在MAS中的應用

反事實推理是一種用于解釋監督學習模型的常用方法，通過擾動輸入并觀察結果變化，揭示模型特定預測背后的原因。在MAS中，反事實推理也被引入來解釋智能體的行為。具體而言，通過隨機化智能體的行為，并觀察其對系統獎勵的影響，可以確定哪些智能體在當前時間步上對系統表現最為關鍵。這種方法不僅可以提供更高保真度的解釋，還能幫助識別系統中的潛在問題和漏洞，為進一步優化系統提供有力支持。

EMAI（個體智能體重要性解釋方法）的提出

為了解決現有方法在處理MAS時的局限性，研究團隊提出了一種新穎的智能體級別解釋方法——EMAI。EMAI通過反事實推理，評估單個智能體的重要性，以提供更高保真度的解釋。具體來說，EMAI利用隨機化智能體行為引起的獎勵變化，衡量智能體的重要性，并采用多智能體強化學習（MARL）模型來捕捉智能體之間的復雜交互關系。

策略隨機化與獎勵變化

在EMAI方法中，研究人員通過隨機化智能體的行為來評估其重要性。具體而言，如果某個智能體的隨機行為導致系統獎勵發生較大變化，則表明該智能體在當前時間步上非常重要。為了實現這一點，研究人員設計了一種優化函數，旨在最小化隨機化行為前后獎勵的差異。同時，研究人員引入了稀疏約束，以鼓勵在訓練過程中探索更多的智能體行為隨機化。

屏蔽智能體的設計與訓練

在EMAI方法中，研究人員引入了屏蔽智能體的概念，這些智能體通過學習來識別并屏蔽那些不重要的目標智能體的行為。具體而言，屏蔽智能體的策略學習被建模為一個多智能體強化學習（MARL）問題，通過反事實推理評估目標智能體的重要性，并在訓練過程中最小化隨機化行為引起的獎勵差異。為了確保模型的有效性，研究人員采用了集中訓練與去中心化執行（CTDE）范式，該范式允許在訓練過程中使用全局信息指導個體智能體的學習，而每個智能體基于自身觀察獨立決策，從而有效分解聯合動作空間。

通過上述方法，EMAI能夠提供更高保真度的解釋，并在理解策略、發動攻擊和修補策略等實際應用中提供有效指導。后續章節將詳細介紹EMAI的模型架構與訓練過程，以及實驗與評估結果。

模型架構與訓練

在理解多智能體系統中個體智能體的重要性時，EMAI（Explanation of Multi-Agent Importance）方法的提出為研究人員提供了一種新穎而有效的解決方案。研究團隊將詳細探討EMAI的模型架構與訓練過程，包括其整體框架、屏蔽智能體和中央評論網絡的設計、訓練目標和優化函數，以及中心化訓練與去中心化執行（CTDE）范式的應用。

圖1：研究團隊提出的EMAI概述。（a） 在每個時間步，EMAI輸出每個目標代理的動作隨機化的掩蔽概率，概率越低，相應目標代理的重要性越高。（b） 在訓練過程中，掩蔽代理的策略網絡學習掩蔽動作和個體值，中央批評網絡學習總值以估計預期獎勵。引入損失函數以最小化動作隨機化前后的獎勵差異，并鼓勵代理人進行更多的動作隨機化。

EMAI的整體框架旨在通過反事實推理評估單個智能體的重要性，從而提供更高保真度的解釋。該框架由兩個主要部分組成：屏蔽智能體網絡和中央評論網絡。屏蔽智能體網絡負責學習和識別那些在每個時間步上對系統表現不重要的智能體，并隨機化這些智能體的行為。而中央評論網絡則從全局角度評估屏蔽智能體的聯合行為，確保模型能夠捕捉智能體之間的復雜交互關系。

屏蔽智能體和中央評論網絡

在EMAI方法中，屏蔽智能體的設計和訓練是實現智能體級別解釋的關鍵。屏蔽智能體通過學習來識別并屏蔽那些不重要的目標智能體的行為。具體而言，每個屏蔽智能體都會基于其觀察到的信息，決定是否隨機化目標智能體的行為。如果某個智能體的重要性較低，則屏蔽智能體會隨機化其行為，從而評估其對系統表現的影響。

中央評論網絡則負責從全局角度評估屏蔽智能體的聯合行為。通過結合所有屏蔽智能體的決策，中央評論網絡能夠更好地理解智能體之間的相互依賴性，并為優化屏蔽智能體的策略提供指導。在訓練過程中，中央評論網絡會不斷調整其權重，以確保屏蔽智能體能夠準確識別并隨機化那些不重要的目標智能體。

訓練目標和優化函數

為了確保EMAI方法的有效性，研究人員設計了一種優化函數，旨在最小化隨機化行為前后系統獎勵的差異。具體來說，優化函數的目標是通過最小化目標智能體行為隨機化前后的獎勵差異，從而提高屏蔽智能體識別不重要智能體的精度。同時，研究人員還引入了稀疏約束，以鼓勵屏蔽智能體在訓練過程中探索更多的智能體行為隨機化，從而提高模型的整體表現。

在訓練過程中，屏蔽智能體和中央評論網絡會基于當前的觀察和系統狀態，不斷調整其決策和權重，以最小化優化函數的值。通過這種方式，EMAI方法能夠逐步提高其識別和隨機化目標智能體的精度，從而提供更高保真度的解釋。

中心化訓練與去中心化執行（CTDE）在EMAI中的應用

在EMAI方法中，研究人員采用了中心化訓練與去中心化執行（CTDE）范式，以更好地處理多智能體系統中的復雜交互關系。CTDE范式允許在訓練過程中使用全局信息指導個體智能體的學習，而每個智能體在執行過程中則基于自身的觀察獨立決策，從而有效分解聯合動作空間。

CTDE范式的一個重要原則是個體-全局-最大（IGM）原則。該原則旨在確保智能體的個體行為和全局行為在優化過程中能夠同時最大化。具體來說，個體智能體的策略應通過最小化其個體獎勵與全局獎勵之間的差異來進行優化，從而確保其行為在整體系統中的貢獻。

為了實現這一原則，研究人員設計了總損失函數，結合個體損失和全局損失，通過最小化總損失函數的值，確保智能體的個體行為和全局行為在訓練過程中能夠協調一致?？倱p失函數的設計使得EMAI方法在處理多智能體系統中的復雜交互關系時，能夠更加高效和精確地評估每個智能體的重要性。

通過上述方法，EMAI方法不僅能夠提供更高保真度的解釋，還能夠在理解策略、發動攻擊和修補策略等實際應用中提供有效指導。通過中心化訓練與去中心化執行（CTDE）范式的應用，EMAI方法能夠在復雜的多智能體系統中，實現對個體智能體重要性的高效評估和解釋。

實驗與評估?

為了驗證EMAI方法在評估多智能體系統中個體智能體重要性方面的有效性，研究人員進行了多項實驗。這些實驗旨在評估EMAI的解釋保真度、實際應用效果以及在不同多智能體環境中的表現。以下是實驗的詳細設置、評估指標和結果分析。

實驗設置

研究人員選擇了三個不同特征的多智能體基準環境進行實驗，包括StarCraft多智能體挑戰（SMAC）、Google研究足球（GRF）和多智能體粒子環境（MPE）。這些環境覆蓋了密集獎勵、稀疏獎勵、對抗任務和協作任務等不同類型的多智能體任務。每個基準環境中選取了兩個至三個代表性的任務，以驗證EMAI方法的廣泛適用性。

在實驗過程中，研究人員將EMAI方法與三種常用且先進的基線方法進行了比較?；€方法包括StateMask、基于值的方法（VB）和基于梯度的歸因方法（GBA）。StateMask是一種訓練后解釋方法，旨在分析每個時間步狀態對最終獎勵的重要性；VB是一種常用的訓練中解釋方法，基于MARL中的信貸分配或值分解問題，將重要性與價值函數相關聯；GBA則利用輸出對數概率的梯度進行訓練中解釋。

保真度評估

圖2：保真度評估的結果。條形圖表示平均值，條形圖上的黑線表示標準偏差。

為了評估EMAI方法在識別重要智能體方面的精度，研究人員采用了保真度評估指標。具體來說，研究人員通過隨機化選定智能體的行為，并測量獎勵差異來評估解釋的保真度。如果選定的智能體對最終獎勵確實關鍵，那么隨機化這些智能體的行為應該導致較大的獎勵變化。研究人員使用相對獎勵差異（RRD）來標準化不同環境中的獎勵變化，RRD值越大，表示解釋保真度越高。

圖3:EMAI識別的關鍵代理的圖示，用紅色框標記。

實驗結果顯示，EMAI方法在所有任務中均取得了最高的RRD值，相對于基線方法，保真度的相對改進在11%到118%之間。這表明，EMAI方法能夠更準確地識別出多智能體系統中每個個體的重要性。

實用性評估

在實際應用中，研究人員評估并分析了EMAI方法在理解策略、發動攻擊和修補策略方面的實用性。這些評估反映了EMAI方法在多智能體系統中的實際應用價值。

理解策略

研究人員通過可視化EMAI識別出的關鍵智能體，展示了EMAI方法如何幫助人類理解多智能體的策略。在SMAC和GRF任務中，EMAI成功識別出了在團隊策略中具有重要作用的智能體。用戶研究表明，大多數參與者認為EMAI提供的解釋更符合人類直覺，并有助于識別策略缺陷。

發動攻擊

為了分析解釋方法在發動攻擊中的意義，研究人員設計了針對關鍵智能體的攻擊實驗。通過向關鍵智能體的觀察值添加噪聲，導致其做出次優決策。實驗結果顯示，EMAI指導的攻擊最為有效，導致獎勵減少最多，相對于基線方法的改進在14%到289%之間。

表1：攻擊前后劇集團隊獎勵的變化。括號外和括號內的數字分別表示平均值和標準偏差。

表2：補丁前后劇集團隊獎勵的變化。括號外和括號內的數字分別表示平均值和標準偏差。

研究人員還設計了一種由EMAI指導的策略修補方法，通過記錄高獎勵片段中關鍵智能體的觀察軌跡及其相應動作，構建補丁包。在需要修補的片段中，通過搜索與當前觀察相似的觀察并選擇替代動作，提高系統表現。實驗結果顯示，EMAI指導的修補效果最佳，某些基線方法甚至導致獎勵減少。

結論與未來工作

研究團隊提出了一種新穎的智能體級別解釋方法——EMAI，通過反事實推理來評估多智能體系統（MAS）中個體智能體的重要性。相比現有方法，EMAI通過隨機化智能體行為引起的獎勵變化，衡量智能體的重要性，并采用多智能體強化學習（MARL）模型來捕捉智能體之間的復雜交互關系。在實際應用中，EMAI不僅在理解策略方面表現出色，還在發動攻擊和修補策略方面提供了有效的指導。

實驗結果表明，EMAI在多個多智能體任務中均取得了顯著優于基線方法的表現。尤其是在保真度評估中，EMAI的相對改進在11%到118%之間，證明了其在識別重要智能體方面的高效性和準確性。

EMAI的優勢與應用前景

EMAI方法具備多種優勢，使其在廣泛的應用場景中具有巨大的潛力。EMAI通過反事實推理提供高保真度的智能體級別解釋，解決了現有方法在處理復雜多智能體系統時的局限性。EMAI采用的多智能體強化學習模型，能夠有效捕捉智能體之間的依賴關系，提高解釋的精確度和適用性。

在實際應用方面，EMAI在理解策略、發動攻擊和修補策略等方面表現出色。例如，通過可視化EMAI識別出的關鍵智能體，人類能夠更好地理解多智能體系統的策略，并識別系統中的潛在問題和漏洞。此外，EMAI指導的攻擊和修補策略實驗表明，其在提升系統安全性和性能方面具有重要價值。

未來EMAI方法有望在無人駕駛、智能機器人、智能交通等領域得到廣泛應用，幫助優化和解釋復雜多智能體系統，提升其可靠性和透明性。

現有局限性與未來研究方向

盡管EMAI方法在多智能體系統的解釋方面取得了顯著進展，但仍存在一些局限性和挑戰。首先，EMAI主要基于智能體行為的隨機化來評估重要性，而在更加復雜的環境中，智能體的重要性可能還受其他因素（如視覺感知和規劃能力）的影響。未來的研究可以進一步擴展EMAI方法，考慮更多因素對智能體重要性的影響，以提高解釋的全面性和準確性。

在實際應用中，EMAI的方法需要大量的計算資源和時間，特別是在處理大規模多智能體系統時。為了解決這一問題，未來的研究可以探索更加高效的算法和優化技術，以提高EMAI方法的計算效率和實用性。

最后，EMAI在實際應用中還需要更多的驗證和測試，以確保其在不同應用場景中的可靠性和適用性。未來的研究可以通過更多的實驗和實地測試，進一步驗證和完善EMAI方法，并探索其在不同領域中的具體應用和效果。（END）

參考資料：https://arxiv.org/abs/2412.15619

本文轉載自??大噬元獸??，作者： FlerkenS ????