多智能體系統（MAS）是一種通過多個智能體的協作來解決復雜問題的技術。這些智能體可以是軟件代理、機器人或其他自主系統，能夠在動態環境中進行交互和決策。MAS在許多領域有廣泛的應用，包括交通管理、金融市場模擬、災害應急響應、社會行為研究等。隨著應用規模的擴大，現有的多智能體系統面臨擴展性和效率問題、智能體多樣性不足、管理過程復雜的問題。

近日由來自阿里巴巴集團和中國人民大學組成的聯合研究團隊推出AgentScope平臺，對超大規模多智能體模擬中的最新改進取得非常的技術成果。AgentScope是一個用戶友好的多智能體平臺，旨在解決現有平臺在擴展性、效率、智能體多樣性和管理過程方面的挑戰。通過引入基于actor模型的分布式機制、靈活的環境支持、易用的配置工具和自動背景生成管道，AgentScope顯著提升了大規模多智能體模擬的便利性和靈活性。

同時，研究團隊發表的論文《Very Large-Scale Multi-Agent Simulation in AgentScope》探討了大規模多智能體模擬在不同領域的潛力，通過一系列綜合模擬實驗，展示AgentScope在支持大規模多智能體模擬方面的有效性，并提供詳細的觀察和討論，強調多智能體系統在大規模模擬中的巨大潛力。

研究團隊里阿里巴巴集團的人員有Xuchen Pan、Dawei Gao、Yuexiang Xie、Yaliang Li、Bolin Ding、Jingren Zhou，這些研究人員在阿里巴巴集團工作，專注于大規模多智能體系統和相關技術的研究與開發。中國人民大學的人員有Zhewei Wei、Ji-Rong Wen，這兩位研究人員來自中國人民大學，致力于多智能體系統和人工智能領域的研究。

論文的源代碼已在GitHub上發布（鏈接地址https://github.com/modelscope/agentscope），該項目在GitHub上有3.9k顆星和249個分支。這一開源項目為研究人員和開發者提供了一個強大的工具，支持他們在大規模多智能體模擬領域進行創新和探索。

多智能體系統的現狀與挑戰

多智能體系統（MAS）在許多領域中都有廣泛的應用，如交通管理、金融市場模擬、災害應急響應和社會行為研究等。然而，現有的多智能體模擬平臺在擴展性、效率、智能體多樣性和管理過程等方面仍存在諸多局限性。

隨著智能體數量的增加，現有平臺在組織智能體執行任務和通信方面的效率顯著下降。在大規模模擬中，智能體需要按照一定的順序執行任務，并進行頻繁的通信和協作。然而，現有平臺在處理大量智能體時，往往難以高效地組織這些任務，導致模擬時間過長，結果不準確。大規模模擬需要大量的計算資源，現有平臺在資源分配和利用方面存在不足，無法充分利用多核處理器和分布式計算資源，導致計算效率低下。智能體之間的通信是多智能體系統的重要組成部分，但在大規模模擬中，通信開銷往往成為瓶頸，限制了系統的擴展性和效率。

大規模模擬需要智能體表現出多樣化的行為，以便更真實地再現復雜系統的行為。然而現有平臺在智能體背景設置和行為多樣性方面的支持有限，現有平臺通常只提供簡單的背景設置，難以生成具有豐富背景和多樣化行為的智能體。這使得模擬結果缺乏現實性和代表性。由于背景設置的單一性，智能體的行為模式往往趨于同質化，難以模擬真實世界中的復雜場景和多樣化行為。現有平臺在智能體間的互動設計上存在不足，難以支持復雜的互動行為和動態變化，限制了模擬的深度和廣度。

管理大量分布在多個設備上的智能體，包括初始化、執行和終止智能體，以及監控其狀態和交互，過程繁瑣且耗時。在大規模模擬中，初始化和配置大量智能體需要耗費大量時間和精力，現有平臺缺乏高效的配置工具和自動化支持。在模擬執行過程中，監控智能體的狀態和行為是一個復雜的任務，現有平臺在監控工具和界面設計上存在不足，難以提供全面和實時的監控。在模擬結束后，終止和清理大量智能體同樣是一個耗時的過程，現有平臺缺乏高效的終止和清理機制。

為了提升多智能體模擬的現實性和可靠性，減少人力干預，論文提出了對AgentScope平臺的多項改進，旨在解決上述挑戰，支持超大規模多智能體模擬。

通過引入基于actor模型的分布式機制、靈活的環境支持、易用的配置工具和自動背景生成管道，AgentScope顯著提升了大規模多智能體模擬的現實性和可靠性?；赼ctor模型的分布式架構支持自動并行執行和集中工作流編排，顯著提升了模擬的擴展性和效率。多層環境結構和高頻訪問支持能夠靈活模擬各種現實場景，增強了模擬的現實性。配置工具和自動背景生成管道簡化了創建多樣化智能體的過程，提升了智能體的多樣性和行為的現實性。

通過提供易用的配置工具和自動化支持，AgentScope顯著減少了大規模多智能體模擬中的人力干預。用戶可以定義模擬的總人口，并從多個角度指定人口分布，提供常用的分布模板，支持擴展新的方面，簡化了智能體的初始化和配置過程。根據配置工具提供的分布，自動生成詳細且多樣化的背景設置，引入更多多樣性，減少了手動設置的工作量。基于Web的界面提供了全面和實時的監控，簡化了智能體的執行和監控過程，提高了管理效率。

AgentScope平臺的改進

AgentScope平臺在大規模多智能體模擬中引入了多項關鍵改進，旨在解決現有平臺在擴展性、效率、智能體多樣性和管理過程方面的挑戰。

分布式機制

AgentScope采用了基于actor模型的分布式架構，這種架構在并行計算和分布式系統中具有顯著優勢。actor模型是一種并發計算的數學模型，其中每個actor作為基本計算單元，獨立接收消息并進行計算。通過這種方式，AgentScope能夠實現高效的任務分配和執行。

圖1：自動并行執行的一個示例，其中圓圈表示代理，有向邊表示消息傳遞流。

在AgentScope中，每個智能體被視為一個獨立的actor，能夠并行執行任務并與其他智能體進行通信。這種設計不僅提高了系統的擴展性，還減少了任務執行的時間。具體來說，AgentScope通過通信圖動態識別可執行的智能體，這些智能體可以自動并行執行，利用最大可用資源。

為了進一步提升效率，AgentScope引入了自動并行執行和集中工作流編排機制。自動并行執行通過格式化智能體間的交互為通信圖，實現了智能體的并行執行。每個智能體在接收到所需的消息后才會觸發內部計算，這樣可以確保智能體僅依賴于必要的消息，從而實現高效的并行執行。

圖2：占位符如何在模擬中發揮作用，以使用戶能夠集中協調工作流程。

集中工作流編排則通過代理機制在中心進程中管理分布式智能體的通信。代理機制隱藏了遠程計算的復雜性，使用戶能夠在中心進程中指定分布式智能體之間的通信。為了確保工作流執行不被分布式智能體的計算阻塞，AgentScope引入了占位符概念。當代理接收到消息時，會立即返回占位符，并將消息轉發給對應的分布式智能體。智能體在接收到所有實際值后才會執行內部計算，從而實現了獨立分布式智能體的并行運行。

這種設計不僅提高了智能體間通信的效率，還簡化了用戶的操作，使得大規模多智能體模擬變得更加便捷和高效。

靈活的環境支持

AgentScope提供了多層環境結構，支持組內信息同步和組間信息差異化，增強了模擬的靈活性。在多智能體模擬中，環境是智能體交互的重要組成部分。AgentScope通過抽象環境操作為注冊、查詢、更新、刪除和監控等基本操作，支持高頻訪問和數據同步。

圖3：基于代理的模擬的多層環境結構。

多層環境結構允許為不同的智能體組建立獨立的環境，以提供交互項和共享信息。在這些環境之上，還可以設置一個全局環境進行全局同步。這種設計特別適用于需要組內協作和組間信息差異化的模擬場景，例如社會行為模擬和團隊合作模擬。

為了滿足大規模模擬中高頻訪問的需求，AgentScope實現了分布式節點的環境模塊，通過遠程過程調用（RPC）與智能體進行通信。環境模塊在接收到智能體的請求后，會根據訪問的數據將請求分類到不同的隊列中，并同時處理這些隊列中的請求，以解決數據沖突問題。

用戶可以根據可用的硬件資源設置最大并發數，從而優化環境模塊的性能。此外，AgentScope還提供了時間線和位置兩個維度的交互，支持智能體根據全局時間調整行為，并在地圖上與附近的智能體或物品進行交互。這種設計提供了靈活的環境支持，能夠模擬各種現實場景，增強了模擬的現實性和多樣性。

易用的配置工具與自動背景生成

AgentScope集成了易用的配置工具，用戶可以定義模擬的總人口，并從多個角度指定人口分布。配置工具提供了一些常用的分布模板，例如年齡、性別、職業、國籍和教育水平等，用戶也可以根據需要擴展新的方面。

通過配置工具，用戶只需簡單地指定人口分布，即可生成大量具有詳細且多樣化特征的智能體。這些智能體可以通過AgentScope-Manager模塊方便地管理和監控，該模塊簡化了大規模智能體模擬的組織和觀察過程。

在配置工具提供的分布基礎上，AgentScope還提供了自動背景生成管道，用于生成詳細且多樣化的背景設置。當用戶啟動模擬時，系統會根據配置工具提供的分布，從中抽取具體值，并將其轉換為JSON格式，填充到元提示中，生成完整的背景設置指令。

圖4：基于網頁的可視化界面，適用于大規模代理商管理。

這些指令由大語言模型（LLMs）使用，以生成異構的背景設置。為了引入更多的多樣性，生成過程會調整隨機種子和溫度。通過這種方式，AgentScope能夠自動生成具有豐富背景和多樣化行為的智能體，減少了手動設置的工作量，提高了模擬的現實性和代表性。

AgentScope通過引入基于actor模型的分布式機制、靈活的環境支持、易用的配置工具和自動背景生成管道，顯著提升了大規模多智能體模擬的擴展性、效率和多樣性。這些改進不僅解決了現有平臺的局限性，還為研究人員和開發者提供了一個強大的工具，支持他們在大規模多智能體模擬領域進行創新和探索。

實驗與結果分析

研究團隊通過一系列實驗驗證了AgentScope在大規模多智能體模擬中的性能和效果。以下是實驗設置、擴展性與效率分析以及模擬結果與分析的詳細解讀。

實驗設置

實驗在一個包含多個設備的集群上進行，每個設備配備8個A100-80G GPU、64核CPU和1TB內存。為了處理高并發的服務請求，研究團隊采用了vLLM作為LLM推理引擎。實驗中使用了六種不同大小的開源LLM，包括Llama3-8B、Llama3-70B、Qwen2-7B、Qwen2-72B、MistralAI-8×7B和MistralAI-8×22B。

在實驗中，除非特別說明，每個設備上部署八個Qwen2-7B或Llama3-8B模型，兩個Qwen2-72B、Llama3-70B或MistralAI-8×7B模型，或一個MistralAI-8×22B模型。所有LLM的生成溫度設置為1.0，以促進響應的多樣性。此外，為了防止響應格式錯誤，每個智能體在每輪游戲中執行兩次LLM服務器調用。第一次調用用于生成響應，包括其思維過程和報告的數字，第二次調用用于正確提取報告的數字。

圖5：基于代理的模擬，具有不同規模的代理（a、b）和不同數量的設備（c、d）。

為了指導智能體在游戲中的行為，研究團隊為智能體提供了系統提示。這些提示包括游戲規則、響應格式以及行為指導。例如，為了鼓勵智能體逐步思考，系統提示中加入了“鏈式思維”研究的啟發，要求智能體在報告數字前逐步思考。

在進一步的實驗中，研究團隊還在系統提示中加入了更詳細的行為指導，提醒智能體所有競爭對手都是理性的，并會通過分析他人的策略來調整報告的數字。這些詳細指令旨在使智能體在報告數字前進行更深入的思考和多樣化的考慮，從而使模擬更加實際、有意義和有趣。

擴展性與效率

為了展示AgentScope在大規模智能體模擬中的擴展性和效率，研究團隊進行了多項實驗，記錄了不同規模智能體模擬的運行時間。實驗結果顯示，AgentScope能夠支持包含100萬個智能體的模擬，使用4臺設備可在12分鐘內完成。

具體來說，當使用Llama3-8B和基本系統提示（Prompt 1）時，模擬包含100萬個智能體的運行時間為12分鐘；而使用“鏈式思維”提示（Prompt 2）時，由于響應的平均令牌數增加了150倍以上，運行時間增加到85分鐘。對于最重的推理工作負載，即使用Llama3-70B和Prompt 2時，模擬運行時間約為10.6小時。

為了更好地展示基于actor模型的分布式機制帶來的效率提升，研究團隊采用了虛擬模型請求（即智能體休眠1秒并生成隨機數而不是發送請求）進行模擬，以消除LLM推理速度的影響。實驗結果顯示，使用基于actor模型的分布式機制，完成包含100萬個智能體的模擬僅需40秒，而使用串行執行或Python中的異步模式（現有工作采用的模式）則分別需要約12天和8.6小時。

圖6：具有不同 LLM 和系統提示的代理報告的數字分布。

此外，增加設備數量可以成比例地減少模擬運行時間。例如，當智能體數量固定為10,000時，增加設備數量從1臺到4臺，模擬運行時間從22分鐘減少到5.6分鐘。這表明，通過增加設備數量，AgentScope能夠顯著提升模擬的擴展性和效率。

模擬結果與分析

實驗結果顯示，不同系統提示對智能體的行為有顯著影響。使用基本系統提示（Prompt 1）時，大多數智能體報告的數字約為50。然而使用“鏈式思維”提示（Prompt 2）時，智能體報告的數字顯著減少，接近0。這表明詳細指令比一般指導（如“逐步思考”）更有效，能夠促使智能體進行更深入的思考和更理性的決策。

圖7：多輪比賽中報告數字的平均值。

在進一步的實驗中，研究團隊在系統提示中加入了更詳細的行為指導（Prompt 3和Prompt 4），提醒智能體所有競爭對手都是理性的，并會通過分析他人的策略來調整報告的數字。實驗結果顯示，使用詳細指令的智能體報告的數字更接近0，表明詳細指令比一般指導更有效。

在多輪游戲中，智能體逐漸調整策略，報告的數字逐漸收斂到0，顯示出對游戲的良好理解和理性決策能力。例如，在多輪游戲中，智能體在每輪開始時會被告知上一輪的獲勝數字，并根據這些信息調整策略。實驗結果顯示，隨著游戲的進行，智能體報告的數字逐漸接近0，表明智能體能夠有效地考慮其他智能體的行為，并做出合理的決策。

圖8：不同的系統提示對不同的LLM的影響。

此外，使用“鏈式思維”提示的智能體比使用基本提示的智能體更快收斂到納什均衡。例如，在第五輪游戲中，使用Qwen2-72B和Prompt 2的智能體報告的平均數字為2.02，而使用Prompt 1的智能體報告的平均數字為25.16。這表明，詳細的行為指導能夠加速智能體達到納什均衡。

智能體多樣性研究

在多智能體系統的研究中，智能體的多樣性是一個關鍵因素。多樣化的智能體能夠更真實地模擬復雜系統中的各種行為和交互，從而提高模擬的現實性和代表性。研究團隊通過對AgentScope平臺的實驗，深入探討了智能體多樣性的重要性及其實現方法。

異構配置

在AgentScope平臺中，研究團隊通過配置工具和自動背景生成管道，為智能體設置了多樣化的背景，包括教育水平和職業背景。具體來說，智能體被分為多個組，每組包含200個智能體，每個組的智能體具有不同的教育水平或職業背景。

圖9：具有不同教育水平的代理人報告的數字分布。

在教育水平方面，智能體被分為五個不同的教育水平：小學、高中、學士、碩士和博士。實驗結果顯示，教育水平越高的智能體在游戲中的表現越理性。例如，使用Qwen2-72B的智能體中，博士教育水平的智能體報告的平均數字顯著低于小學教育水平的智能體。這表明，教育水平較高的智能體在游戲中表現出更強的推理能力和決策能力。

在職業背景方面，智能體被分為六個不同的職業：游戲理論教授、經濟學家、心理學家、運動員、藝術家和作家。實驗結果顯示，不同職業背景的智能體在游戲中的表現也存在顯著差異。例如，游戲理論教授和經濟學家報告的數字較小，表現出更理性的行為；而藝術家和作家則可能采用更直接的策略。這些結果表明，智能體的職業背景對其行為有重要影響。

圖10：不同職業的代理人報告的數字分布。

圖11：涉及具有多種 LLM 的代理的個體級別模擬。

通過對不同背景設置的智能體行為進行分析，研究團隊發現，智能體的行為與其背景設置一致。例如，具有博士教育水平的智能體在游戲中表現出更強的推理能力和決策能力，而小學教育水平的智能體則可能表現出較為簡單的行為模式。同樣，游戲理論教授和經濟學家在游戲中表現出更理性的行為，而藝術家和作家則可能采用更直接的策略。

這些結果表明，通過提供不同的背景描述，可以顯著增強智能體的多樣性，從而提高模擬的現實性和代表性。AgentScope平臺的配置工具和自動背景生成管道為實現這一目標提供了有力支持。

混合LLM的模擬實驗

為了進一步探討智能體多樣性，研究團隊進行了混合LLM的模擬實驗。具體來說，智能體被配置為使用不同的LLM，包括Llama3-70B、MistralAI-8×22B和Qwen2-72B，每個LLM分配500個智能體。實驗包括個體級別和組級別的模擬。

在個體級別模擬中，每個智能體獨立參與游戲。實驗結果顯示，不同LLM的智能體行為存在顯著差異。例如，Llama3-70B的智能體報告的數字較為一致，傾向于報告約33的數字；MistralAI-8×22B的智能體則一致報告0；Qwen2-72B的智能體表現出更大的行為多樣性，報告的數字范圍較廣，主要集中在0到50之間。

在組級別模擬中，智能體被分為三組，每組使用相同的LLM。每個智能體報告一個數字，組內智能體的平均數字作為該組的報告數字。實驗結果顯示，同組智能體的行為在第二輪后趨于一致。例如，Qwen2-72B和Llama3-70B的智能體表現較為一致，而MistralAI-8×22B的智能體有時會報告較大的數字。

實驗結果表明，不同LLM的智能體在行為上存在顯著差異。例如，Llama3-70B的智能體報告的數字較為一致，而MistralAI-8×22B的智能體則一致報告0，Qwen2-72B的智能體表現出更大的行為多樣性。這些差異可能與LLM的架構、訓練語料等因素有關。

圖12：涉及具有混合 LLM 的代理的群體級別模擬。

此外實驗還顯示，智能體在多輪游戲中的策略調整也存在差異。例如，在多輪游戲中，智能體在每輪開始時會被告知上一輪的獲勝數字，并根據這些信息調整策略。實驗結果顯示，隨著游戲的進行，智能體報告的數字逐漸接近0，表明智能體能夠有效地考慮其他智能體的行為，并做出合理的決策。

進一步討論

在論文的最后部分，我們將進一步探討AgentScope在大規模多智能體模擬中的一些關鍵問題和實驗結果。這些討論將涵蓋溫度對生成多樣性的影響、智能體扮演極端角色的表現、先驗知識對智能體行為的影響以及非零納什均衡的模擬實驗。

溫度對生成多樣性的影響

溫度是控制大語言模型（LLM）生成多樣性的一個重要超參數。在AgentScope的實驗中，研究團隊設置了1000個使用Qwen2-72B和Prompt 2的智能體，并將溫度范圍設置為{0.05, 0.25, 0.50, 1.00}。實驗結果顯示，隨著溫度的增加，報告數字的標準差從6.50上升到8.20，而平均值變化不大。

這些結果表明，溫度對生成多樣性的影響主要體現在報告數字的分布上，而對總體平均值的影響較小。當溫度較低時，智能體的行為較為一致，報告的數字集中在一個較小的范圍內；而當溫度較高時，智能體的行為變得更加多樣化，報告的數字分布范圍更廣。這一發現對于在大規模模擬中控制智能體行為的多樣性具有重要意義。

圖13：游戲中設定不同比例時報出的數字分布情況。

扮演極端角色的智能體表現

在多樣化背景設置的模擬中，研究團隊嘗試讓智能體扮演極端角色，例如七歲兒童。實驗結果顯示，盡管智能體被設定為七歲兒童，但其行為并不符合預期，表現出計算和多步驟推理能力。這表明，盡管可以為智能體設置各種背景，但在某些極端情況下，智能體的行為可能與預期不符。

這一發現強調了在模擬前評估模型能力和設計背景設置的重要性。用戶需要仔細設計背景設置，并評估模型在特定角色下的表現，以確保模擬結果的現實性和代表性。

先驗知識對智能體行為的影響

“猜平均數”的游戲是一個經典的博弈論問題，LLM可能在其訓練語料中已經獲得了相關的先驗知識。為了測量這種先驗知識的影響，研究團隊改變了游戲的比例，從2/3改為1/2和51/100，并分別進行了模擬實驗。

實驗結果顯示，當比例設置為1/2和51/100時，智能體的表現存在顯著差異。更多的智能體在比例為1/2時傾向于報告較大的數字，而在比例為51/100時，智能體的表現則更加多樣化。這表明，LLM的先驗知識對智能體行為有顯著影響。

為了減少這種影響，研究團隊在系統提示中加入了一條注釋，指出這是“猜平均數”游戲的變體。實驗結果顯示，加入注釋后，智能體的表現更加接近比例為1/2的情況。這一發現表明，通過在系統提示中明確說明游戲設置，可以有效減少先驗知識對智能體行為的影響。

非零納什均衡的模擬實驗

為了驗證智能體在理解和推理方面的能力，研究團隊設置了一個變體游戲，使納什均衡變為10，而不是經典游戲中的0。實驗結果顯示，部分使用Qwen2-72B和MistralAI-8×22B的智能體能夠在第一輪中推理出新的納什均衡點，并在隨后的游戲中逐漸接近10。

圖14：當我們在模擬中將納什均衡改為 10 時報告的數字分布。

圖15：在 LLM 中使用不同溫度時報告的數字的分布。

這一發現表明，智能體在理解和推理方面表現出強大的能力，能夠根據新的游戲規則做出合理的決策。此外，實驗還發現，盡管智能體在推理過程中可能會犯一些簡單的計算錯誤，但這些錯誤并不影響整體結論。

通過這些實驗，研究團隊展示了AgentScope在大規模多智能體模擬中的強大能力和潛力。溫度對生成多樣性的影響、智能體扮演極端角色的表現、先驗知識對智能體行為的影響以及非零納什均衡的模擬實驗，進一步驗證了AgentScope在支持復雜模擬和多樣化智能體行為方面的有效性。

結論

論文通過對AgentScope平臺的詳細解讀，展示了其在超大規模多智能體模擬中的最新改進和實驗結果。AgentScope通過引入基于actor模型的分布式機制、靈活的環境支持、易用的配置工具和自動背景生成管道，顯著提升了大規模多智能體模擬的擴展性、效率和多樣性。

實驗結果表明，AgentScope不僅能夠支持大規模智能體模擬，還能夠通過詳細的行為指導和多輪游戲中的策略調整，促使智能體進行更深入的思考和更理性的決策。此外，溫度對生成多樣性的影響、智能體扮演極端角色的表現、先驗知識對智能體行為的影響以及非零納什均衡的模擬實驗，進一步驗證了AgentScope在支持復雜模擬和多樣化智能體行為方面的有效性。

未來，AgentScope有望在更多領域中得到應用，如交通管理、金融市場模擬、災害應急響應和社會行為研究等。通過不斷優化平臺性能和擴展應用場景，AgentScope將為研究人員和開發者提供更強大的工具，支持他們在大規模多智能體模擬領域進行創新和探索。（END）

參考資料：https://arxiv.org/pdf/2407.17789

本文轉載自 ??大噬元獸??，作者： FlerkenS