Лучший ИИ-агент для кода полностью решает лишь 26% реальных задач Co-Design Bench

Если вы пускаете ИИ-агента в рабочий репозиторий, то знакомая картина: он делает почти всё, а потом вы полчаса ловите оставшуюся мелочь. Новый бенчмарк Co-Design Bench впервые измерил это системно, и цифры отрезвляют.

Что проверяли

Команда из Alibaba и нескольких азиатских университетов собрала тесты из реальных сессий разработки. Исследователи сознательно брали случаи, где пользователю приходилось переформулировать запрос или откатывать изменения. То есть в тесте остались задачи, на которых агенты уже ошибались на практике.

Задачи разные: от мелкой правки до перестройки целого проекта. Типичный пример: достать сумму из фотографии чека и обновить все зависимые итоги в приложении. Часть заданий мультимодальная, и входом служат изображения, аудио, видео или документы.

Оценка жёсткая. Один ИИ-судья запускает готовое приложение в браузере, второй перепроверяет каждый положительный вердикт и ищет заглушки и захардкоженные результаты. Баллы дают только за то, что реально работает.

Что получилось

Из десяти моделей лучшей стала GPT-6 Astra. Она закрывает в среднем около 70% требований задачи, но целиком безошибочный результат даёт лишь в 26,4% случаев. Дальше идут Claude Opus 5 и Qwen3.8-Max, последнее место у Grok 4.6. В мультимодальном треке лидер решает полностью 41% задач, а в репозиторных меньше 18%.

На старых бенчмарках вроде WebCompass-edit модели набирают почти максимум, тут же разрыв превышает 35 процентных пунктов. Авторы считают, что прежние тесты просто насытились: когда агент сам запускает и чинит код, различия между моделями почти не видны.

Ещё одна закономерность: чем больше разных типов изменений в одной задаче (вёрстка, дизайн, интерактив, контент), тем хуже результат. При трёх-четырёх типах просели все десять моделей. А в реальных проектах правки как раз почти всегда смешанные. Больше вычислений не спасает: GLM-5.2 тратит примерно в шесть раз больше токенов, чем GPT-6 Astra, на мелких правках и всё равно заметно проигрывает.

Среда решает не меньше модели

Отдельный эксперимент: одни и те же модели запускали в разных обвязках (harness), то есть в программах, через которые агент читает, пишет и исполняет код. Qwen3.8-27B на крупных переделках набрала 75% в одной среде и 56% в другой. Порядок двух моделей тоже зависел от среды. Поэтому авторы советуют всегда указывать пару «модель плюс обвязка».

Ограничения

Бенчмарк проверяет один фиксированный запрос на задачу, а уточнения и поправки по ходу работы в нём отсутствуют. ИИ-судьи тоже могут ошибаться. К тому же исследование METR ранее показало: доля принятого руководителями проектов кода примерно на 24 пункта ниже результатов на SWE-bench Verified. Эффект среды неоднозначен: другое недавнее исследование почти не нашло пользы от более сложных обвязок, хотя те тратили до трёх раз больше токенов.

Что делать на практике

Первое: не выбирайте агента по рейтингу моделей. Прогоните на своих реальных задачах связку «модель плюс инструмент» и сравнивайте именно её. Второе: закладывайте время на ревью и доводку, особенно когда задача смешивает вёрстку, логику и данные. Дробите крупные запросы на однотипные шаги, это снижает риск недоделок. Третье: проверяйте результат в работающем приложении, а не по диффу, потому что именно так оценивал и этот бенчмарк.

Вывод простой: агенты экономят много времени, но обещание «отдал задачу и забыл» пока выполняется примерно в одном случае из четырёх.