Смесь агентов

Смесь агентов — многоуровневая архитектура, в которой несколько независимых языковых моделей параллельно генерируют ответы на один запрос, а агрегирующая модель синтезирует их в единый результат, превосходящий каждого участника по отдельности.

Смесь агентов (Mixture of Agents, MoA) — мультиагентная система, предложенная компанией Together AI в июне 2024 года. Её ключевая идея состоит в том, что языковые модели в роли агрегаторов способны генерировать более качественные ответы, получая на вход несколько ответов других моделей — даже если те слабее агрегатора по отдельным параметрам. Этот феномен авторы назвали «коллаборативностью» LLM.

Архитектура MoA состоит из нескольких слоёв. На первом уровне M моделей (proposers) параллельно отвечают на запрос, не зная ответов друг друга. На каждом следующем уровне модели-агрегаторы получают в контекст все ответы предыдущего слоя и генерируют улучшенный синтез. Финальный агрегатор — как правило, одна из наиболее мощных доступных моделей — формирует итоговый ответ.

Подход позволяет использовать открытые модели среднего класса (Mixtral, Qwen) в роли proposers, сохраняя финальную агрегацию за более мощной моделью. Это экономически выгоднее одиночного вызова дорогой закрытой модели при сопоставимом или превосходящем качестве. В бенчмарке AlpacaEval 2.0 система MoA на базе GPT-4o в роли агрегатора показала win rate выше, чем одиночный GPT-4o.

К 2026 году паттерн применяется в продакшн-системах для задач с высокими требованиями к качеству: юридический анализ, медицинские рекомендации, кодогенерация сложных систем. Ограничение — многократный рост задержки и стоимости из-за параллельных вызовов, что делает MoA нецелесообразным в низколатентных приложениях.