开源创新框架MoA，可极大增强大模型的能力

知名大模型平台Together AI开源了一个创新框架Mixture-of-Agents（简称，MoA）。

MoA可以显著提升大模型的生成内容的能力和安全性，同时降低对AI算力的需求。研究人员在AlpacaEval 2.0、MT-Bench和FLASK等多个基准上进行了全面评测，涵盖了从无害性、鲁棒性、效率、可读性、事实性等多个维度。

结果显示，MoA在AlpacaEval 2.0上以65.1%的得分，击败了OpenAI的GPT-4o （57.5%），并且在使用开源大模型的条件下，仍然保持了明显的优势。也就是说，开发人员在有限的算力预算下，MoA也能最大化开源大模型的能力。

开源地址：https://github.com/togethercomputer/moa?tab=readme-ov-file

论文地址：https://arxiv.org/abs/2406.04692

传统的单一大模型在特定任务上表现卓越，例如，金融、医疗、营销等，但它们受限于训练数据和参数的限制，无法达到更好的效果。

MoA则使用了一种创新架构，构建了一个由多个代理层组成的模型，每一层都包含若干个大模型代理。这些代理在模型的每一层中独立地工作，但它们之间的协作却非常紧密。

在MoA的每一层中，这些代理不仅仅是简单地接收输入并生成输出，它们还会对前一层的输出进行深入分析和综合，以生成更加精准和全面的回答。简单来说，有点像是一个交响乐团，每个代理都扮演着演奏者的角色，共同演奏一首美妙的歌曲。

此外，这些代理会被统一划分为提议者（Proposers）和聚合器（Aggregators）两种角色。提议者擅长生成有用的参考响应，即使这些响应本身可能并不完美，但它们提供了丰富的上下文和多样化的视角。

而聚合器则精于将这些来自不同提议者的响应整合成一个高质量的单一输出。这种角色分配使得MoA能够充分发挥每个模型的长处，同时弥补个别模型的不足。

为了确保模型之间的有效协作并提高整体响应质量，MoA在选择每一层的大模型时非常谨慎。选择过程主要基于两个标准：性能指标和多样性考虑。

性能指标确保所选模型在历史上的表现是出色的，多样性确保了不同模型的输出能够相互补充，从而丰富了最终的响应内容。

在大模型鲁棒性方面，在面对复杂或模糊的输入内容时，单一的大模型可能会产生不确定或错误的响应。而MoA通过多模型代理协作，可以减少这种不确定性，提供更加稳定和可靠的输出。

这种鲁棒性对于需要高可靠性的领域，如医疗咨询、法律服务、以及客户支持等，尤为重要，同时能增强多任务的学习能力，在执行语言翻译、摘要生成、情感分析等多个子任务的复杂查询时，能够提供更加全面和深入的解答。

在资源优化方面，MoA通过智能地选择和组合不同代理模型的输出，能够在保持高性能的同时，减少对计算资源的需求。使得MoA在资源受限的环境中，例如，手机、平板、笔记本等，也能发挥出大模型的能力。

本文素材来源MoA论文，如有侵权请联系删除