Multi-Agent Design: Optimizing Agents with Better Prompts and Topologies
https://arxiv.org/abs/2502.02533
1. 核心问题: MASS 研究多智能体系统的自动设计。痛点在于设计空间有两层纠缠:每个智能体的提示词,以及智能体之间怎么连接的拓扑;提示词敏感会沿智能体级联放大,拓扑靠人工试错,组合空间巨大。
2. 论文主张: 不要只优化拓扑或只优化提示词,而要把两个设计空间交错优化,并且从局部到全局分阶段进行,先把单个智能体优化好,再把它们组合成系统。
3. 论文来源: 这篇论文来自 Google 和剑桥大学,是 Han Zhou 在 Google 实习期间的工作,发表于 ICLR 2026,方法名 MASS,即 Multi-Agent System Search。
4. 关键发现一: 在 MATH 上的分析显示,先做提示词优化的智能体,token 效率明显高于用默认提示词堆智能体数量的做法,而且先优化提示词再做并行扩展,扩展曲线更好,更早饱和的是不优化提示词的做法。
5. 关键发现二: 不是所有拓扑都有益。HotpotQA 上只有辩论拓扑带来约百分之三的提升,LiveCodeBench 上反思拓扑反而掉百分之十五;有影响力的拓扑只占整个搜索空间的一小部分,所以应该剪枝后再搜。
6. 方法主线: MASS 分三个阶段交错优化。阶段一对每种拓扑块做块级提示词优化;阶段二按各块的增量影响力做 softmax 加权、拒绝采样剪枝,在剪枝后的空间里搜索拓扑;阶段三在最好拓扑上做全局联合提示词优化,建模智能体之间的相互依赖。
7. 具体案例: 在 MATH 上,阶段一发现辩论拓扑最优,把准确率从百分之六十二提到百分之七十九;阶段二发现九个并行智能体聚合反而更好,到百分之八十三;阶段三再优化到百分之八十五,说明拓扑搜索能推翻局部直觉。