CoworkEnv синтезирует среды для ИИ-коллег: Qwen3-VL-8B выросла с 46,6 до 64,1

Как обучить ИИ-коллег работать в реальных сценариях

Как обучить ИИ-коллег использовать инструменты, справляться с многошаговыми взаимодействиями и адаптироваться к меняющимся рабочим пространствам? Это центральная проблема при разработке agentai систем, и исследователи предложили принципиально новый подход.

Команда представила CoworkEnv — фреймворк для синтеза исполняемых обучающих окружений. В отличие от статических датасетов, CoworkEnv динамически генерирует среды, в которых модели могут учиться взаимодействию с инструментами и приспособлению к меняющимся условиям.

Архитектура и компоненты

Фреймворк объединяет три ключевых механизма:

• Capability-guided task generation — система генерирует задачи, адаптированные к текущим возможностям модели, чтобы обеспечить прогрессивное усложнение
• Programmatic validation — автоматическая проверка корректности ответов через исполнение кода и верификацию результатов
• Feedback-based repair — механизм, который автоматически исправляет ошибочные примеры на основе полученной обратной связи

Система поддерживает оба основных подхода к обучению: supervised fine-tuning (SFT) и reinforcement learning (RL), позволяя гибко выбирать стратегию в зависимости от задачи.

Результаты обучения: компактные модели, мощные результаты

Исследователи обучили серию компактных моделей PocketWorker на основе этого фреймворка. Самый впечатляющий результат получился с моделью Qwen3-VL-8B-Instruct:

• На метрике Claw-Eval общий результат вырос с 46,6 до 64,1 баллов (+17,5 точек)
• На подмножестве многошаговых задач прирост составил +31,9 точек
• На блоке Claw-Eval Multi-turn модель выросла с 45,9 до 77,8 баллов

В экспериментах также использовались метод GDPO (gradient-guided DPO) для RL, который в целом достигал 57,2 баллов на Claw-Eval, уступая полнофункциональной SFT модели, но оставляя место для дальнейшей оптимизации.

Практические детали реализации

Система включает простой, но эффективный механизм grading-consistency gate — проверку логической согласованности при оценке результатов. Правило работает так: полный и корректный результат получает максимальную оценку, пустой ответ получает ноль, а любой вызов запрещённого инструмента обнуляет оценку безопасности. Этот подход настолько эффективен, что авторы рекомендуют его как стандартный инструмент для других pipelines синтеза окружений.

Исследователи активно приглашают обратную связь от сообщества и готовы обсуждать методологию синтеза окружений и обучения агентов с долгосрочным горизонтом планирования.