多智能體系統（Multi-Agent Systems, MAS）近年來在各類任務中展現出卓越的能力，尤其是在代碼生成、數學問題解決、翻譯和文本評估等領域。通過多個專家智能體的協作，這些系統能夠將復雜任務分解為更小的子任務，由各個智能體分別處理，從而提高整體效率和準確性。然而隨著多智能體系統的廣泛應用，其安全性問題也日益凸顯。特別是當系統中存在惡意智能體時，這些智能體可能會生成錯誤或不相關的結果，進而破壞整個系統的協作效果。

因此,我們需要研究多智能體系統在存在惡意智能體時的彈性，即系統在面對惡意智能體時維持功能和性能的能力,需要回答以下兩個關鍵問題：

1. 不同結構的多智能體系統在惡意智能體存在下的彈性如何？
2. 如何提高系統彈性以防御惡意智能體？

為了解答這些問題，來自中國香港中文大學、清華大學、北京大學和卡內基梅隆大學的聯合研究團隊設計了AUTOTRANSFORM 和 AUTOINJECT兩種方法，用于將任何智能體轉變為惡意智能體或直接在消息中引入特定錯誤。通過這兩種方法，研究團隊在代碼生成、數學問題、翻譯和文本評估四個任務上進行了綜合實驗。實驗結果表明，“層次結構”多智能體系統（如 A→(B?C)）表現出最強的彈性，性能下降最?。?3.6%），相比之下，其他兩種結構的性能下降分別為46.4%和49.8%。

此外研究還發現，通過引入額外的智能體來審查和糾正消息，或為每個智能體增加挑戰其他智能體輸出的機制，可以顯著提高系統的彈性。這些防御方法在實驗中表現出色，進一步驗證了其有效性。

研究團隊為設計更具彈性的多智能體系統提供了重要的見解和方法，特別是在面對惡意智能體時。研究結果不僅揭示了不同系統結構在惡意智能體存在下的表現差異，還提出了有效的防御策略，為未來多智能體系統的安全性研究提供了寶貴的參考。

本研究由來自不同領域的專家合作完成，團隊成員包括中國香港中文大學的Jen-tse Huang, Jiaxu Zhou, Wenxuan Wang, Michael R. Lyu、清華大學的Tailin Jin、北京大學的Zixi Chen、卡內基梅隆大學的Xuhui Zhou, Maarten Sap 和中國香港中文大學（深圳）的Youliang Yuan，這些研究人員專注于多智能體系統的研究，特別是其在面對惡意智能體時的彈性,在代碼生成和數學問題解決等任務中的應用,在文本評估和翻譯任務中的應用,在多智能體系統的協作和安全問題等，這個多學科、多機構的團隊結合了來自不同領域的專家，共同研究多智能體系統在面對惡意智能體時的彈性，為設計更具彈性的多智能體系統提供重要的見解和方法。

預備知識

多智能體系統（MAS）在管理科學中可以根據其結構和通信方式分為三種主要類型：線性結構、扁平結構和層次結構。每種結構都有其獨特的定義和特點，適用于不同的應用場景和任務需求。

線性結構的多智能體系統中，智能體之間的通信是單向的，類似于流水線作業。每個智能體只與其前一個和后一個智能體進行通信，形成一個鏈式的工作流程。例如，A→B→C 表示智能體 A 將任務傳遞給智能體 B，B 完成其部分后再傳遞給智能體 C。線性結構的優點在于其簡單性和明確的任務分配，但缺點是缺乏靈活性和冗余，一旦某個環節出現問題，整個系統的性能可能會受到嚴重影響。

扁平結構的多智能體系統中，所有智能體之間進行雙向通信，形成一個平等的協作網絡。例如，A?B?C 表示智能體 A、B 和 C 之間可以相互通信和協作。扁平結構的優點在于其高效的通信和靈活的任務分配，能夠快速響應變化和調整策略。然而，扁平結構也存在通信開銷較大和協調復雜度高的問題，特別是在智能體數量較多時。

層次結構的多智能體系統結合了線性結構和扁平結構的特點，既有單向通信也有雙向通信。例如，A→(B?C) 表示智能體 A 將任務分配給 B 和 C，B 和 C 之間可以相互通信和協作。層次結構的優點在于其靈活性和冗余性，能夠在不同層級之間進行有效的任務分配和協調，提高系統的魯棒性和適應性。層次結構在實際應用中較為常見，特別是在需要復雜協作和多層次決策的場景中。

圖1：不同系統在各種任務上對惡意智能體的彈性如何？

系統彈性（Resilience）是指系統在面對內部錯誤或外部攻擊時，維持其功能和性能的能力。在多智能體系統中，彈性尤為重要，因為系統的協作和任務完成依賴于多個智能體的共同努力。一旦某個智能體出現故障或被惡意攻擊，系統的整體性能可能會受到影響。因此研究和提高多智能體系統的彈性具有重要意義。

多智能體系統的彈性體現在以下幾個方面：

• 錯誤恢復能力：系統能夠識別并糾正智能體生成的錯誤，確保任務的正確完成。
• 協作穩定性：系統能夠在智能體之間維持穩定的協作關系，防止惡意智能體破壞協作機制。
• 任務連續性：系統能夠在面對智能體故障或攻擊時，繼續執行任務，減少中斷和性能下降。

提高多智能體系統的彈性可以通過多種方法實現。

在系統中引入冗余智能體或冗余通信路徑，確保在某個智能體失效時，其他智能體能夠接替其任務。設計智能體具備錯誤檢測和糾錯能力，能夠識別并修正自身或其他智能體的錯誤。設計靈活的協作機制，允許智能體在任務執行過程中進行動態調整和重新分配，提高系統的適應性和魯棒性。

系統彈性是多智能體系統設計中的關鍵因素，直接影響系統的可靠性和穩定性。通過研究和提高多智能體系統的彈性，可以有效應對惡意智能體的威脅，確保系統在復雜和動態環境中的正常運行。

方法論

在研究多智能體系統的彈性時，關鍵在于如何有效地引入錯誤以模擬惡意智能體的行為。論文提出了兩種主要的方法：AUTOTRANSFORM 和 AUTOINJECT。

AUTOTRANSFORM：將智能體轉變為惡意智能體

AUTOTRANSFORM 是一種基于大規模語言模型（LLM）的方法，旨在將任何智能體的配置文件轉變為惡意智能體，同時保留其原有功能。其設計過程包括以下三個關鍵步驟：

1. 任務分析：首先，AUTOTRANSFORM 分析輸入智能體的配置文件，提取其分配的任務。這一步有助于識別生成錯誤輸出的潛在方法。
2. 錯誤注入方法列舉：基于任務分析，AUTOTRANSFORM 列出所有可能的錯誤注入方法，強調隱蔽性以避免被其他智能體檢測到。
3. 配置文件重寫：最后，AUTOTRANSFORM 使用這些錯誤注入方法重寫智能體的配置文件，確保智能體的原有功能保持不變。

通過這種方法，研究團隊能夠將任何智能體轉變為惡意智能體，生成隱蔽的錯誤，從而模擬惡意智能體的行為。

圖2：錯誤引入過程概述。（a） 任務信息。（b） 無惡意代理的多智能體協作系統。（c） AUTOTRANSFORM修改智能體的配置文件，將其轉化為惡意。（d） AUTOINJECT攔截智能體之間的消息并在消息中添加錯誤。

AUTOINJECT：直接在消息中引入特定錯誤

盡管 AUTOTRANSFORM 能夠方便地生成惡意智能體，但難以確保這些智能體引入特定數量和類型的錯誤。為了解決這一問題，研究團隊提出了 AUTOINJECT 方法，直接在智能體之間傳遞的消息中引入特定錯誤。AUTOINJECT 的設計過程包括以下步驟：

1. 任務分配和錯誤注入：首先分配任務、智能體、錯誤率（Pm 和 Pe）和錯誤類型。AUTOINJECT 然后選擇智能體的輸出消息，并以概率 Pm 選擇消息中的某些部分，在這些部分中以概率 Pe 注入錯誤。
2. 錯誤生成：使用 LLM 自動生成錯誤行或句子，替換原始消息中的對應部分。

通過這種方法，研究團隊能夠精確控制錯誤消息的比例、單條消息中的錯誤數量以及錯誤類型，從而更好地分析這些因素對系統彈性的影響。

錯誤率的定義及其對系統彈性的影響

錯誤率是指惡意智能體生成的錯誤消息的比例和單條消息中的錯誤數量。在論文中，錯誤率分為兩個方面。

錯誤消息比例（Pm）：指惡意智能體生成的錯誤消息在其所有消息中的比例。較高的錯誤消息比例意味著更多的消息包含錯誤，從而增加系統識別和糾正錯誤的難度。

單條消息中的錯誤數量（Pe）：指單條消息中包含的錯誤行或句子的比例。較高的錯誤數量意味著每條錯誤消息中包含更多的錯誤，從而增加系統糾正錯誤的復雜性。

研究表明，錯誤消息比例對系統彈性的影響較大，特別是在錯誤消息比例較高時，系統性能下降顯著。而單條消息中的錯誤數量對系統彈性的影響相對較小，但仍需考慮其對系統糾錯能力的挑戰。

圖3：六個多智能體系統在四個選定的下游任務上的性能下降。

錯誤類型（語法錯誤和語義錯誤）的定義及其對系統彈性的影響

錯誤類型主要分為兩類：語法錯誤和語義錯誤。

語法錯誤：指違反邏輯或事實正確性的錯誤，例如代碼中的語法錯誤或數學公式中的計算錯誤。語法錯誤通常較容易被識別和糾正，因為它們明顯偏離了訓練數據的分布。

語義錯誤：指在邏輯上正確但在語義上不相關或不準確的錯誤，例如代碼中邏輯正確但不符合預期功能的錯誤。語義錯誤較難被識別和糾正，因為它們在分布上與正確代碼相似，需要更深層次的任務理解。

研究發現，語義錯誤對系統彈性的影響大于語法錯誤。這是因為語義錯誤更難被識別和糾正，特別是在需要深層次理解任務的情況下。例如在代碼生成任務中，語法錯誤較容易被檢測和修正，而語義錯誤則可能導致更嚴重的功能性問題。

通過引入這兩種錯誤類型，研究團隊能夠全面評估多智能體系統在面對不同類型錯誤時的彈性，為設計更具彈性的系統提供重要的參考。

實驗

1. 實驗設置

下游任務的選擇及其評估標準

為了全面評估多智能體系統在不同任務中的表現，研究團隊選擇了四個常見的下游任務。

• 代碼生成：使用 HumanEval 數據集（Chen et al., 2021），該數據集包含 164 個手寫編程問題，用于評估 LLMs 生成正確和功能性 Python 代碼的能力。評估標準為準確率（Pass@1）。
• 數學問題解決：使用 CIAR 數據集（Liang et al., 2023b），該數據集包含 50 個帶有隱藏陷阱的問題，用于評估 LLMs 的反直覺算術推理能力，要求多步推理。評估標準為準確率。
• 翻譯：使用 CommonMT 數據集（He et al., 2020），該數據集包含成對的句子，用于測試模型在模糊上下文中的常識推理能力。我們隨機抽取了 100 個最具挑戰性的詞匯類型句子進行評估，使用 BLEURT-20（Sellam et al., 2020; Pu et al., 2021）作為評估標準。
• 文本評估：使用 FairEval 數據集（Wang et al., 2023a），該數據集包含 80 個由人類注釋的“贏/平/輸”結果，用于比較 ChatGPT 和 Vicuna-13B 的響應，旨在確定模型的偏好是否與人類判斷一致。評估標準為準確率。

多智能體系統架構的選擇及其特點

研究團隊選擇了三種主要的多智能體系統架構：線性、扁平和層次結構。每種架構都有其獨特的特點和應用場景。

線性結構

MetaGPT（Hong et al., 2023）：使用標準操作程序（SOPs）在軟件公司環境中創建高效的工作流程，利用五個智能體進行代碼生成。

Self-collaboration（Dong et al., 2023）：設計了三個角色，即分析師、編碼員和測試員，使用 2-5 個智能體在代碼生成任務中實現自我協作。

扁平結構

Camel（Li et al., 2024a）：提出了一個框架，其中“用戶”智能體迭代地優化“助手”智能體的輸出，適用于各種任務。

SPP（Wang et al., 2023b）：使用單人表現提示（Solo-Performance-Prompting）將單個模型分為三個角色進行編碼任務。

層次結構

MAD（Liang et al., 2023b）：引入了一個多智能體辯論框架，包含兩個辯論者和一個裁判，以促進 LLMs 的發散思維，適用于各種任務。

AgentVerse（Chen et al., 2023b）：采用動態招聘過程，根據需要選擇智能體進行多輪協作，使用四個智能體完成所選任務。

2. 研究問題1（RQ1）：系統架構的影響

不同架構在面對惡意智能體時的表現

研究結果表明，層次結構的多智能體系統在面對惡意智能體時表現出最高的彈性。

層次結構：表現出最小的準確率下降，AUTOTRANSFORM 和 AUTOINJECT 分別為 23.6% 和 22.6%。這種結構的優勢在于存在一個高層智能體（如 MAD 中的評估者），該智能體總是能夠接收到多個智能體執行相同子任務的不同版本的答案，從而增加了從單個智能體錯誤中恢復的可能性。

扁平結構：在 AUTOTRANSFORM 下表現相似，但在 AUTOINJECT 下韌性顯著降低。這是由于缺乏高層領導者來監督和選擇最佳結果的智能體。

線性結構：表現出最低的韌性，缺乏領導和智能體間的溝通，導致一條流水線式的工作流程。

圖4：在每項任務中，MAD相對于AUTOINJECT的精度都有所提高。

層次結構的優勢及其原因分析

層次結構的優勢主要體現在層次結構中存在多個智能體執行相同的子任務，從而增加了系統的冗余性和錯誤恢復能力。高層智能體能夠監督和評估多個智能體的輸出，選擇最佳結果，從而提高系統的整體性能。層次結構允許智能體在不同層級之間進行動態調整和重新分配，提高系統的適應性和魯棒性。

3. 研究問題2（RQ2）：下游任務的影響

不同任務在面對錯誤時的韌性差異

研究發現，不同下游任務在面對錯誤時的韌性存在顯著差異。具體表現為代碼生成和數學問題：這些任務需要較高的嚴格性和形式化，對智能體錯誤更為敏感，韌性較低。翻譯和文本評估：這些任務的主觀性較強，對錯誤的敏感性較低，韌性較高。

任務的客觀性和主觀性對系統彈性有重要影響

客觀任務：如代碼生成和數學問題，要求較高的準確性和一致性，任何錯誤都可能導致顯著的性能下降。

主觀任務：如翻譯和文本評估，允許一定程度的變異和解釋，錯誤的影響相對較小。

4. 研究問題3（RQ3）：錯誤率的影響

研究表明，錯誤消息比例（Pm）和單條消息中的錯誤數量（Pe）對系統彈性的影響表現為錯誤消息比例對系統彈性的影響較大，特別是在錯誤消息比例較高時，系統性能下降顯著。錯誤消息比例的性能下降是非線性的，最顯著的下降發生在 0 到 0.2 之間。單條消息中的錯誤數量對系統彈性的影響相對較小，但仍需考慮其對系統糾錯能力的挑戰。隨著 Pe 的增加，性能下降幾乎是線性的。

圖5：六個多智能體系統在選定下游任務上的性能下降。

5. 研究問題4（RQ4）：錯誤類型的影響

研究發現，語義錯誤對系統彈性的影響大于語法錯誤。這是因為語法錯誤較容易被識別和糾正，因為它們明顯偏離了訓練數據的分布。語義錯誤較難被識別和糾正，因為它們在分布上與正確代碼相似，需要更深層次的任務理解。

例如，在代碼生成任務中，語法錯誤較容易被檢測和修正，而語義錯誤則可能導致更嚴重的功能性問題。

通過這些實驗，研究團隊全面評估了多智能體系統在面對不同類型錯誤時的彈性，為設計更具彈性的系統提供了重要的參考。

其他因素

惡意角色的影響

在多智能體系統中，不同類型的智能體在系統中的角色和職責各不相同。為了全面了解惡意智能體對系統彈性的影響，研究團隊不僅關注直接負責工作的智能體，還研究了高層任務分配智能體的影響。

高層任務分配智能體與直接負責工作的智能體的對比

高層任務分配智能體（如 Camel 系統中的 User 和 Assistant，MetaGPT 系統中的 Product Manager 和 Engineer）在系統中扮演著關鍵角色，負責任務的分配和協調。相比之下，直接負責工作的智能體主要執行具體任務，如代碼生成或問題解決。

研究結果表明，污染高層任務分配智能體對系統性能的影響更大。這是因為高層任務分配智能體控制著系統的整體任務分配和協調，一旦這些智能體被惡意轉變，其生成的錯誤指令可能會影響多個下游智能體的工作。例如，在 Camel 系統中，Assistant 智能體難以識別 User 智能體生成的“有毒”指令，因為其職責僅限于執行指令。

具體來說，研究團隊應用 AUTOTRANSFORM 方法將高層任務分配智能體轉變為惡意智能體，結果顯示系統的性能顯著下降。這一發現與直覺一致，即控制系統整體任務分配的智能體對系統的正常運行至關重要。

輪次數量的影響

另一個影響多智能體系統彈性的因素是智能體參與的輪次數量。研究團隊假設，增加智能體參與的輪次（即更多輪次）可能會增強系統的彈性，因為更多的輪次意味著更多的機會來識別和糾正錯誤。

智能體參與輪次對系統彈性的影響

為了消除額外智能體的影響，研究團隊專注于只有兩個智能體輪流發言的 Camel 系統。通過計算生成正確和錯誤代碼的平均輪次數，研究團隊發現以下結果：

1. 在沒有注入錯誤的情況下，生成通過 HumanEval 的代碼的平均輪次為 9.31，而生成未通過代碼的平均輪次為 9.79。
2. 在注入錯誤后，這些平均值分別變為 8.89 和 11.57。

這些結果表明，錯誤注入導致系統在完成較容易的任務時對話輪次減少，而在較難的任務上花費更多時間但無明顯改進。這與直覺相悖，即輪次數量可能與系統彈性相關，但實際結果顯示，輪次數量對系統彈性的影響有限。

圖6:HumanEval的兩個測試用例的案例研究。（a） 故意注入的錯誤有助于提高性能。（b） LLM過度依賴自然語言而不是代碼。

研究團隊進一步分析了這一現象，發現當前 LLM 在上下文變長時效果減弱，特別是在指令存在沖突的情況下。對于惡意智能體來說，它們逐漸失去生成錯誤的任務軌跡，優先考慮其他智能體的新指令來糾正消息中的錯誤。此外，AUTOINJECT 方法持續引入錯誤，而 AUTOTRANSFORM 方法并不總是確保生成錯誤，這也解釋了為什么 AUTOINJECT 方法對系統性能的影響更大。

圖7:§4.7中研究的兩個因素。（a） 應用AUTOTRANSFORM對MetaGPT和Camel中不同角色的影響。（b） 平均輪次與代碼正確性的相關性。

綜上所述，惡意角色和輪次數量是影響多智能體系統彈性的兩個重要因素。高層任務分配智能體的惡意行為對系統的影響更大，而輪次數量對系統彈性的影響相對有限。這些發現為設計更具彈性的多智能體系統提供了重要的參考。

提高系統彈性的方法

在多智能體系統中，面對惡意智能體的威脅，提高系統的彈性至關重要。研究團隊提出了兩種主要的防御方法：Inspector 和 Challenger。這些方法旨在通過增加系統的錯誤檢測和糾正能力，增強多智能體系統在惡意智能體存在下的韌性。

1. 防御方法

Inspector：攔截并檢查所有消息中的錯誤并進行糾正

Inspector 方法的核心思想是引入一個額外的智能體，專門負責攔截并檢查所有智能體之間傳遞的消息，識別其中的錯誤并進行糾正。具體實現步驟如下：

• 消息攔截：Inspector 智能體攔截所有智能體之間傳遞的消息，確保每條消息都經過檢查。
• 錯誤檢測：使用大規模語言模型（LLM）對消息進行分析，識別其中的語法錯誤和語義錯誤。
• 錯誤糾正：一旦檢測到錯誤，Inspector 智能體會生成正確的消息替換錯誤消息，并將其傳遞給目標智能體。

這種方法類似于 Zhang et al. (2024) 提出的“警察”智能體，旨在通過實時監控和糾正消息中的錯誤，提高系統的整體性能和穩定性。

Challenger：賦予智能體挑戰其他智能體結果的能力

Challenger 方法的核心思想是增強每個智能體的功能，使其不僅能夠執行分配的任務，還能夠挑戰其他智能體的輸出結果。

在每個智能體的配置文件中添加挑戰功能，使其能夠對接收到的消息進行評估，并在發現錯誤時提出挑戰。智能體在接收到其他智能體的輸出結果后，會對其進行分析，如果發現潛在錯誤，會生成挑戰消息，要求對方智能體重新生成或修正結果。被挑戰的智能體在接收到挑戰消息后，會重新生成或修正其輸出結果，并將其傳遞回挑戰智能體進行驗證。

這種方法通過賦予智能體更多的自主性和糾錯能力，提高了系統在面對惡意智能體時的彈性。

2. 實驗結果

研究團隊將這兩種防御方法應用于不同的多智能體系統架構（線性和扁平），并評估其在代碼生成任務中的效果。

線性架構（Self-collab）

無防御方法：在沒有防御方法的情況下，系統在 AUTOINJECT 方法下的性能顯著下降。

Inspector 方法：引入 Inspector 方法后，系統性能有所提升，但未能完全恢復到原始水平。

Challenger 方法：引入 Challenger 方法后，系統性能也有所提升，但與 Inspector 方法相比，提升幅度相似。

扁平架構（Camel）

無防御方法：在沒有防御方法的情況下，系統在 AUTOINJECT 方法下的性能顯著下降。

Inspector 方法：引入 Inspector 方法后，系統性能有所提升，但未能完全恢復到原始水平。

Challenger 方法：引入 Challenger 方法后，系統性能也有所提升，但與 Inspector 方法相比，提升幅度相似。

總體而言，這兩種防御方法都能夠在一定程度上提高系統在惡意智能體存在下的彈性，但未能完全恢復到原始水平。研究團隊建議在實際應用中同時嘗試這兩種方法，以獲得最佳效果。

圖8：防御方法“檢查器”和“挑戰者”在代碼生成任務中的性能。

通過這些防御方法的實驗結果，研究團隊驗證了其有效性，并為設計更具彈性的多智能體系統提供了重要的參考。這些方法不僅提高了系統的錯誤檢測和糾正能力，還增強了智能體之間的協作和互相監督能力，從而提高了系統的整體韌性。

相關工作

多智能體系統的研究現狀

多智能體系統（MAS）在近年來得到了廣泛的研究和應用。隨著大規模語言模型（LLMs）的發展，MAS 的能力得到了顯著提升，能夠在各種復雜任務中展現出卓越的性能。以下是一些主要的多智能體系統框架和方法的比較。

ChatEval（Chan et al., 2023）

特點：ChatEval 是一個多智能體辯論系統，用于評估 LLM 生成的文本，提供類似人類的評估過程。

應用：主要用于文本生成和評估任務，通過智能體之間的辯論來提高評估的準確性和客觀性。

ChatDev（Qian et al., 2023）

特點：ChatDev 使用線性結構的多個角色來解決代碼生成任務。

應用：通過多個智能體的協作，優化代碼生成過程，提高代碼的質量和功能性。

AutoGen（Wu et al., 2023）

特點：AutoGen 提供了一個通用框架，用于構建具有多種應用的多智能體系統。

應用：適用于各種任務，包括開放式問答和創意寫作，通過智能體的動態生成和協作來完成任務。

AutoAgents（Chen et al., 2023a）

特點：AutoAgents 支持智能體配置文件的動態生成和協作，評估了開放式問答和創意寫作任務。

應用：通過智能體之間的協作和動態調整，提高任務完成的效率和質量。

Agents（Zhou et al., 2023a）

特點：Agents 支持規劃、記憶、工具使用、多智能體通信和細粒度符號控制，用于多智能體或人機協作。

應用：廣泛應用于需要復雜協作和多層次決策的任務，如自動駕駛和智能制造。

模擬日常生活和對話（Park et al., 2023; Zhou et al., 2023b）

特點：這些研究模擬了多智能體系統在日常生活和對話中的應用，探索智能體之間的互動和協作。

應用：主要用于社交機器人和虛擬助手，通過模擬真實場景來提高智能體的交互能力。

多智能體競爭（Huang et al., 2024; Liu et al., 2024b; Liang et al., 2023a）

特點：這些研究探索了多智能體系統在競爭環境中的表現，研究智能體之間的競爭和合作策略。

應用：主要用于游戲和模擬環境，通過競爭和合作來提高智能體的策略和決策能力。

這些框架和方法展示了多智能體系統在不同任務和應用場景中的廣泛應用和研究進展。盡管它們在系統設計和應用上有所不同，但都強調了智能體之間的協作和動態調整，以提高任務完成的效率和質量。

多智能體系統中的安全問題

隨著多智能體系統的廣泛應用，其安全性問題也日益受到關注。特別是當系統中存在惡意智能體時，這些智能體可能會生成錯誤或誤導性的結果，破壞系統的協作效果。以下是一些現有研究中的攻擊和防御機制：

PsySafe（Zhang et al., 2024）

特點：PsySafe 是一個整合攻擊、評估和防御機制的框架，使用負面人格的心理操縱。

應用：通過模擬惡意智能體的行為，評估系統的安全性，并提出相應的防御策略。

EG（Evil Geniuses）（Tian et al., 2023）

特點：EG 是一種自動生成與智能體原始角色相關提示的攻擊方法，類似于 AUTOTRANSFORM。

應用：通過生成惡意提示，破壞智能體的正常工作，評估系統在面對惡意智能體時的表現。

Amayuelas et al.（2024）

特點：研究了多智能體辯論中的對手如何破壞協作，發現對手的說服技巧對成功攻擊至關重要。

應用：通過模擬對手的攻擊行為，評估系統在面對惡意智能體時的協作能力。

Ju et al.（2024）

特點：提出了一種兩階段攻擊策略，在模擬多智能體聊天環境中傳播反事實和有毒知識，有效破壞協作。

應用：通過生成和傳播有毒知識，評估系統在面對惡意智能體時的表現，并提出相應的防御策略。

這些研究展示了多智能體系統在安全性方面的挑戰和應對策略。通過模擬惡意智能體的行為，研究人員能夠評估系統的安全性，并提出相應的防御機制，以提高系統在面對惡意智能體時的彈性。

多智能體系統的研究現狀和安全問題展示了這一領域的廣泛應用和挑戰。通過不斷探索和優化系統設計和防御策略，研究人員能夠提高多智能體系統的彈性，確保其在復雜和動態環境中的正常運行。

結論

研究總結

本研究深入探討了多智能體系統在存在惡意智能體時的彈性，重點分析了不同架構的多智能體系統在面對惡意智能體時的表現，并提出了提高系統彈性的有效方法。以下是主要研究發現：

不同架構的多智能體系統在面對惡意智能體時的表現

層次結構：表現出最強的彈性，性能下降最小。層次結構中存在高層智能體（如評估者），能夠監督和評估多個智能體的輸出，從而增加了從單個智能體錯誤中恢復的可能性。

扁平結構：在 AUTOTRANSFORM 下表現相似，但在 AUTOINJECT 下韌性顯著降低。缺乏高層領導者來監督和選擇最佳結果的智能體是其主要劣勢。

線性結構：表現出最低的韌性，缺乏領導和智能體間的溝通，導致一條流水線式的工作流程。一旦某個環節出現問題，整個系統的性能可能會受到嚴重影響。

提高系統彈性的有效方法

Inspector 方法：引入一個額外的智能體，專門負責攔截并檢查所有智能體之間傳遞的消息，識別其中的錯誤并進行糾正。實驗結果表明，Inspector 方法能夠顯著提高系統在惡意智能體存在下的彈性。

Challenger 方法：增強每個智能體的功能，使其不僅能夠執行分配的任務，還能夠挑戰其他智能體的輸出結果。通過賦予智能體更多的自主性和糾錯能力，Challenger 方法提高了系統在面對惡意智能體時的彈性。

研究局限性

盡管本研究取得了一些重要發現，但仍存在一些局限性。

模型和任務選擇的局限性

由于預算限制，所有實驗僅使用 gpt-3.5-turbo-0125 進行。盡管研究團隊認為結果不會與其他模型有顯著差異，但使用更強大的模型可能會帶來改進，這將在未來的研究中進一步探索。

選擇的多智能體系統和下游任務不能全面代表所有情況。研究團隊通過選擇三種經典的多智能體系統結構和四個常用數據集來盡量覆蓋廣泛的應用場景，但仍有一些未涉及的領域。

未識別的潛在變量

在分析系統彈性時，可能存在一些未識別的潛在變量影響結果。研究團隊主要考察了系統架構、下游任務、錯誤率、錯誤類型、智能體角色和智能體間的通信輪次，但仍可能有其他因素未被考慮。

更廣泛的影響

本研究提出的兩種錯誤引入方法（AUTOTRANSFORM 和 AUTOINJECT）在模擬惡意智能體行為方面具有重要意義，但也可能帶來一些潛在的負面影響。

錯誤引入方法的潛在負面影響

這些方法可能會被惡意使用，污染良性智能體，導致負面社會影響。為了減輕這一風險，研究團隊提出了有效的防御機制，如 Inspector 和 Challenger 方法，以提高系統的彈性。

研究團隊強調，這些方法的提出是為了研究和改進基于 LLM 的多智能體系統行為，強烈反對任何惡意使用這些方法的行為。

防御措施：

通過引入額外的智能體進行實時監控和糾錯，或增強智能體的自主性和糾錯能力，可以有效提高系統在惡意智能體存在下的彈性。

這些防御措施不僅提高了系統的錯誤檢測和糾正能力，還增強了智能體之間的協作和互相監督能力，從而提高了系統的整體韌性。

本研究為多智能體系統在面對惡意智能體時的彈性提供了重要的見解和方法。通過深入分析不同架構的多智能體系統在惡意智能體存在下的表現，并提出有效的防御策略，研究團隊為未來多智能體系統的設計和優化提供了寶貴的參考。希望這些研究成果能夠推動多智能體系統在復雜和動態環境中的應用，確保其在各種挑戰下的穩定性和可靠性。（END）

參考資料：https://arxiv.org/pdf/2408.00989

本文轉載自 ??大噬元獸??，作者： FlerkenS