在大語言模型(LLM)快速發(fā)展的背景下，研究者們?cè)絹碓疥P(guān)注如何通過多代理系統(tǒng)來增強(qiáng)模型性能。傳統(tǒng)的多代理方法雖然避免了大規(guī)模再訓(xùn)練的需求，但仍面臨著計(jì)算效率和思維多樣性的挑戰(zhàn)。本文提出的稀疏代理混合(Sparse Mixture-of-Agents, SMoA)框架，通過借鑒稀疏專家混合(Sparse Mixture-of-Experts, SMoE)的設(shè)計(jì)理念，有效解決了這些問題。

基礎(chǔ)架構(gòu)：MoA模型

在介紹SMoA之前，需要先了解基礎(chǔ)的混合代理(Mixture-of-Agents, MoA)架構(gòu)。在MoA中，系統(tǒng)包含l層，每層包含n個(gè)提議者(proposer)。其核心運(yùn)算可以通過以下公式表示：

其中：

• P_i,j 表示第i層的第j個(gè)提議者
• x_i 是輸入文本
• ⊕ 表示聚合-綜合提示操作
• y_i 是第i層的輸出

最終輸出通過聚合器(Aggregator)生成：

SMoA架構(gòu)解析

SMoA（Sparse Mixture-of-Agents）的架構(gòu)設(shè)計(jì)融合了多層級(jí)代理交互和稀疏化處理，主要包含以下核心組件：

• 輸入層：接收初始提示（Prompt）
• 處理層：包含多個(gè)并行的代理模塊
• 輸出層：生成最終響應(yīng)

1. 代理模塊（Agent Module）

處理輸入信息并生成候選響應(yīng)

• 每個(gè)模塊都有獨(dú)特的角色定義
• 并行工作以提高效率
• 通過角色扮演促進(jìn)思維多樣性

2. 評(píng)判代理（Judge）

每個(gè)處理層之間

• 評(píng)估當(dāng)前層所有代理的輸出
• 選擇最優(yōu)質(zhì)的k個(gè)響應(yīng)
• 過濾低質(zhì)量或重復(fù)信息

工作流程

輸入: n個(gè)代理響應(yīng)
 過程: 質(zhì)量評(píng)估與排序
 輸出: k個(gè)最優(yōu)響應(yīng)（k < n）

3. 調(diào)節(jié)代理（Moderator）

處理層的最后

• 監(jiān)控整體進(jìn)度
• 評(píng)估響應(yīng)質(zhì)量和一致性
• 決定是否繼續(xù)迭代

決策依據(jù)

• 響應(yīng)質(zhì)量評(píng)分
• 代理間一致性程度
• 迭代輪次計(jì)數(shù)

4. 信息流動(dòng)路徑

前向傳遞

1. 輸入提示進(jìn)入第一層代理模塊
2. 并行代理生成候選響應(yīng)
3. 評(píng)判代理選擇最優(yōu)響應(yīng)
4. 調(diào)節(jié)代理評(píng)估是否繼續(xù)

反饋機(jī)制

1. 評(píng)判結(jié)果影響下一輪代理行為
2. 調(diào)節(jié)決策控制迭代進(jìn)程
3. 動(dòng)態(tài)調(diào)整處理深度

SMoA的技術(shù)創(chuàng)新

上圖展示了傳統(tǒng)MAD、MoA與SMoA的架構(gòu)對(duì)比，我們來通過公式進(jìn)行詳細(xì)介紹

1. 響應(yīng)選擇機(jī)制

SMoA引入評(píng)判代理(Judge)來實(shí)現(xiàn)響應(yīng)選擇，其數(shù)學(xué)表達(dá)為：

這個(gè)機(jī)制通過選擇最佳的k個(gè)響應(yīng)顯著減少了計(jì)算開銷，其中k是控制網(wǎng)絡(luò)稀疏度的參數(shù)。

2. 早停機(jī)制

調(diào)節(jié)代理(Moderator)的決策過程可以表示為：

這個(gè)布爾值決定是否繼續(xù)迭代過程，有效降低了不必要的計(jì)算。

3. 角色扮演機(jī)制

角色分配過程可以表達(dá)為：

其中：

• D 是數(shù)據(jù)集描述
• T 是任務(wù)需求
• r_i 是分配給每個(gè)提議者的角色描述

這些數(shù)學(xué)公式清晰地展示了SMoA各個(gè)組件的工作機(jī)制，以及它們?nèi)绾喂餐瑢?shí)現(xiàn)系統(tǒng)的稀疏化和效率提升。

實(shí)驗(yàn)評(píng)估與結(jié)果分析

評(píng)估框架

研究團(tuán)隊(duì)在三個(gè)主要維度進(jìn)行了全面評(píng)估：

1.Just-Eval對(duì)齊性評(píng)估

• 評(píng)估指標(biāo)：有用性、清晰度、事實(shí)性、深度、參與度、安全性
• 使用GPT-4進(jìn)行評(píng)分，滿分5分
• 涵蓋多個(gè)知名數(shù)據(jù)集

2.MMAU推理能力評(píng)估

• 數(shù)學(xué)理解（Math）
• 工具使用（Tool）
• 代碼競(jìng)賽（Code）
• 使用準(zhǔn)確率作為評(píng)估指標(biāo)

3.CEB公平性評(píng)估

• 主要關(guān)注有害性和刻板印象
• 分?jǐn)?shù)越低表示性能越好

關(guān)鍵實(shí)驗(yàn)結(jié)果

1.對(duì)齊性能比較：

性能提升 = (SMoA得分 - 基線得分) / 基線得分 * 100%

• Qwen2-72B-Instruct: +1.9%
• Qwen1.5-72B-Chat: +1.7%
• Mixtral-8*22B: +3.6%

2.推理能力評(píng)估：

平均得分 = (Math + Tool + Code) / 3

• 基線模型：20.78分
• SMoA提升：+18.2%
• MoA提升：+24.9%

3.計(jì)算效率分析：

效率比 = SMoA處理時(shí)間 / MoA處理時(shí)間

顯示SMoA平均可節(jié)省約40%的計(jì)算資源

創(chuàng)新貢獻(xiàn)與未來方向

主要貢獻(xiàn)

1.架構(gòu)創(chuàng)新

• 提出稀疏化的多代理框架
• 引入評(píng)判和調(diào)節(jié)機(jī)制
• 實(shí)現(xiàn)角色多樣性

2.性能突破

• 維持高性能的同時(shí)顯著降低計(jì)算成本
• 提高系統(tǒng)可擴(kuò)展性
• 增強(qiáng)思維多樣性

3.實(shí)踐價(jià)值

• 為大規(guī)模部署提供可行方案
• 降低運(yùn)營成本
• 提高系統(tǒng)效率

未來研究方向

1.網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

• 探索更復(fù)雜的代理連接方式
• 研究動(dòng)態(tài)網(wǎng)絡(luò)拓?fù)?/span>

2.激活策略改進(jìn)

• 開發(fā)更智能的代理選擇機(jī)制
• 優(yōu)化早停判斷標(biāo)準(zhǔn)

3.應(yīng)用場(chǎng)景拓展

• 探索在更多領(lǐng)域的應(yīng)用
• 研究特定任務(wù)的優(yōu)化策略

這項(xiàng)研究不僅在理論上提供了創(chuàng)新的解決方案，也在實(shí)踐中展示了顯著的改進(jìn)效果。通過引入稀疏化和角色多樣性，SMoA為大語言模型多代理系統(tǒng)的發(fā)展開辟了新的方向。