Multi-Agent Systems
Overview
多智能體系統（Multi-Agent Systems） 涉及多個基於 LLM 的 Agent 互動、合作或競爭來解決單一 Agent 無法完成的複雜任務。與單一 Agent 架構的核心差異在於：多智能體系統中每個 Agent 擁有不同專業與角色，透過協調機制整合各 Agent 的輸出，實現集體智慧大於個體之和的效果。^[raw/papers/llm-multi-agent-challenges.md]
當前多智能體系統面臨三大核心挑戰：(1) 可擴展性與效率——隨 Agent 數量增長，協調、通訊、監控的成本急遽上升；(2) Agent 多樣性——如何確保大量 Agent 展現多樣化行為而非高度同質化；(3) 管理複雜度——跨設備初始化、執行、終止與狀態監控的工程負擔。^[raw/papers/agentscope.md]
Core Contributions
多智能體系統研究的核心貢獻可分為四個面向：
1. 架構分類學 — 系統性將多智能體架構分為四種類型（平等結構、階層結構、巢狀結構、動態結構），為設計與選擇提供理論框架。^[raw/papers/llm-multi-agent-challenges.md]
2. 大規模模擬基礎設施 — AgentScope 提出的 Actor-based 分散式機制，支援 100,000+ Agent 的超大規模模擬，突破現有平台的規模瓶頸。^[raw/papers/agentscope.md]
3. 通訊與協調協定 — DiffMAS 將 KV Cache 作為潛在通訊媒介，實現跨 Agent 邊界的梯度傳播；Evolving Orchestration 透過強化學習動態演化 Agent 角色與序列。^[raw/papers/diffmas-multi-agent-communication.md] ^[raw/papers/evolving-orchestration-multi-agent.md]
4. 規劃與記憶管理 — 針對多智能體環境中的任務分配、迭代辯論、層次化上下文對齊等挑戰提出分類框架與解決方案。^[raw/papers/llm-multi-agent-challenges.md]
Architecture / Approach
四種架構類型
平等結構（Equi-Level Structure）：所有 Agent 運作於相同層級，各自擁有明確角色與策略，無階層高低之分。當目標相同時強調集體決策與共享責任；當目標對立時透過談判或辯論達成解決方案（如 Terekhov、Du 等人的研究）。^[raw/papers/llm-multi-agent-challenges.md]
階層結構（Hierarchical Structure）：包含一個 Leader 與多個 Follower，Leader 負責指導或規劃，Follower 根據指令響應或執行。應用場景包括 Stackelberg 遊戲等需要中央權威協調的複雜任務。^[raw/papers/llm-multi-agent-challenges.md]
巢狀結構（Nested Structure）：由平等結構或階層結構的子結構組成於同一系統中。系統的「大方向」可以是平等或階層式，但當某些 Agent 需處理複雜任務時，會將任務拆分為較小的子任務，構建子系統來處理。^[raw/papers/llm-multi-agent-challenges.md]
動態結構（Dynamic Structure）：Agent 的角色、關係與數量會隨時間變化。系統可以動態新增或移除 Agent 以適應手頭的任務，展現上下文適應性。^[raw/papers/llm-multi-agent-challenges.md]
大規模模擬：AgentScope 架構
AgentScope 是專為超大規模多智能體模擬設計的平台，核心架構包含以下元件：
| 元件 | 功能 |
|---|---|
| Actor-based 分散式機制 | 底層技術基礎，支援高效率的水平擴展 |
| 自動工作流轉換 | 分散式部署的自動化轉換 |
| 彈性環境支援 | 支援多樣真實世界場景模擬 |
| 背景自動生成管線 | 自動產生具有多樣化背景設定的 Agent |
| Web 管理介面 | 跨設備監控與管理大量 Agent |
AgentScope 的設計目標是解決傳統模擬平台的三個瓶頸：(i) 可擴展性限制——大量 Agent 的組織、通訊、平行執行；(ii) Agent 多樣性不足——簡單背景導致同質化嚴重；(iii) 管理困難——跨設備初始化、執行、監控的工程負擔。^[raw/papers/agentscope.md]
Key Results
規模突破
AgentScope 在 100,000+ Agent 的規模下進行了全面的模擬實驗，展示了三項核心改進：
- 平行執行效率：Actor-based 機制使得多 Agent 的平行執行與分散式部署成為可能，相較於集中式架構，在 100K Agent 規模下依然保持穩定的每秒幀數（FPS）。^[raw/papers/agentscope.md]
- Agent 多樣性：透過背景自動生成管線，每個 Agent 都能獲得獨特但合理的背景設定（年齡、教育、職業等維度），避免高度同質化問題。^[raw/papers/agentscope.md]
- 管理便利性：Web-based 介面讓研究者能即時監控與管理跨設備的 Agent 群體。^[raw/papers/agentscope.md]
協調效率：DiffMAS
DiffMAS 在多智能體協調方面取得顯著突破——在 AIME24 數學推理基準上，Qwen3-8B 的準確率從 50.0% 提升至 76.7%（+26.7%），在 GPQA-Diamond 上提升 +20.2%。這些結果顯示，透過潛在通訊媒介（KV Cache）實現端對端梯度傳播，能有效解決多 Agent 協調中的深度相關梯度衰減問題。^[raw/papers/diffmas-multi-agent-communication.md]
動態編排：Evolving Orchestration
Evolving Orchestration 在 GSM-Hard、MMLU-Pro、SRDD、CommonGen-Hard 等四個基準上的實驗顯示，Titan subspace 平均從 0.6893 提升至 0.7731，且 token 消耗下降，超越所有基線方法（Self-Refine、AFlow、ChatDev、MacNet、EvoAgent）。^[raw/papers/evolving-orchestration-multi-agent.md]
Limitations
多智能體系統當前仍面臨多項開放問題：
1. 報酬結構設計：在多 Agent 協作中，如何設計有效的報酬函數來激勵有益的集體行為，而非讓個別 Agent 傾向於個人理性行為，仍然是一個開放問題。^[raw/papers/llm-multi-agent-challenges.md]
2. 均衡達成效率：賽局理論中的均衡概念在多智能體系統中難以有效達成——計算共識形成所需資源可能極高，且 Agent 可能陷入次優的納許均衡。^[raw/papers/llm-multi-agent-challenges.md]
3. 上下文對齊問題：當多個 Agent 每輪都重新序列化完整工具綱要時，上下文利用率會在約 70% 時導致推理品質崩潰（MCP Tax 問題）。^[raw/papers/tool-attention-mcp-tax.md]
4. 記憶安全性：共享記憶機制在提升協作效率的同時，也帶來了安全風險——攻擊者可能透過干擾跨 Agent 記憶來操縱系統行為。^[raw/papers/llm-multi-agent-challenges.md]
5. 動態結構穩定性：動態結構中 Agent 角色與關係的頻繁變化可能導致系統行為不可預測，如何在靈活性與穩定性之間取得平衡尚無定論。^[raw/papers/llm-multi-agent-challenges.md]
6. 軌跡膨脹（DiffMAS 限制）：KV Cache 作為通訊媒介會產生快速的軌跡膨脹問題——每個階段發射 T 個潛在區塊，K 個階段後 N_j = jT，長期執行時記憶體消耗成為瓶頸。^[raw/papers/diffmas-multi-agent-communication.md]
本 Wiki 中的相關論文
| 論文 | 貢獻 |
|---|---|
| agentscope | 超大規模模擬（100K+ Agent）的基礎設施與方法 |
| nemobot-games | 競爭環境中的策略 Agent 與 LLM 遊戲應用 |
| llm-multi-agent-challenges | 多智能體系統挑戰與開放問題的系統性分類 |
| diffmas-multi-agent-communication | 透過 KV Cache 潛在通訊實現端對端訓練 |
| evolving-orchestration-multi-agent | Agent 角色動態演化與強化學習編排 |
參見
- agent-memory — 跨 Agent 人群的共享記憶機制
- openhands — 單一 Agent 焦點的軟體開發框架（可擴展至多 Agent）
- mcp — 多工具部署時的上下文管理與通訊效率問題