Codex в тесте на русском перестал искать в интернете и снизил успех со 100% до 0%

Вы просите агента исправить экспорт тренировки на часы. Он меняет поля, подставляет значения пульса, показывает аккуратный патч. Только часы этот формат не понимают. Нужный ответ лежит на форуме, а агент туда даже не заглянул. В эксперименте, опубликованном на Habr, такое поведение появилось после перевода задания с английского на русский. Практический вывод простой: при странных исправлениях полезно проверять лог обращения к источникам и давать агенту известные особенности проекта.

Автор проверяла, влияет ли язык задания на работу агентов и нужно ли переводить истории из её проекта worklore — библиотеки разобранных инженерных случаев. Всего получилось 1350 прогонов: шесть задач, девять конфигураций агентов, пять вариантов подачи и пять повторов каждой комбинации. Это небольшой авторский эксперимент, но он показывает сбой, который легко пропустить при обычной работе.

Где агент начал угадывать

Самый наглядный случай — формат пульсового коридора в тренировке для Garmin. По условиям эксперимента нужная особенность была описана на форуме и отсутствовала в документации. Codex с низким уровнем рассуждения при английском задании каждый раз искал формат в интернете и успешно справился во всех пяти попытках.

После перевода задания на русский тот же агент ни разу не обратился к интернету. Вместо проверки он перебирал правдоподобные изменения: убирал структурированную цель, переходил к абсолютным значениям пульса, добавлял новые поля рядом со старым ключом. Успешных попыток оказалось ноль. Получилось падение со 100% до 0%, однако за каждым процентом здесь стоят всего пять запусков.

У Kimi K3.1 похожая картина возникла на задаче с особенностями OAuth-провайдера. Английский вариант дал пять успешных решений из пяти, русский — ни одного. Агент пропускал поиск и оставлял неверные предположения о параметрах доступа и сроке жизни токена. Почему язык менял решение воспользоваться инструментом, автор не проверяла.

Нужный факт оказался полезнее перевода

Добавление заметки о похожем случае снимало значительную часть проблем. Например, если провайдер выдаёт токены без срока истечения, агенту полезно прямо сообщить эту особенность. Тогда ему не приходится выводить поведение конкретного сервиса из общих представлений об OAuth.

На четырёх задачах, где заметка содержала недостающий факт, успешность выросла с 47% до 94% для английских заданий и с 35% до 92% для русских. На двух контрольных задачах, где ответ уже находился в документации или логе, прибавка была небольшой. Это поддерживает вполне прикладную идею: сохранять найденные командой особенности интеграций и передавать их агенту вместе с задачей.

Перевод самой заметки почти ничего не изменил. При русском задании русская версия дала примерно на два процентных пункта больше успешных решений, но интервал неопределённости включал отсутствие эффекта. Идентификаторы, пути и сообщения об ошибках оставались английскими в обоих вариантах. Для такой технической памяти точные детали оказались важнее языка изложения.

Что проверить в своём процессе

Объявлять русский язык причиной плохой работы агентов по этим данным рано. Здесь только шесть специально подготовленных задач, один неанглийский язык и пять повторов на комбинацию. Кроме того, сравнивались целые конфигурации: модель, оболочка и доступные инструменты. Результат нельзя автоматически переносить на другие версии или настройки.

Есть и дополнительное ограничение: в части запусков агенты находили опубликованные истории самого worklore через поиск. Это меняло доступный им контекст. Автор отдельно пересчитала общие результаты без таких запусков; основное наблюдение сохранилось, однако чистого сравнения для некоторых сочетаний модели и задачи уже не осталось.

Разработчику стоит взять одну знакомую проблему, для которой требуется внешний источник, и несколько раз запустить её на двух языках. Смотреть нужно на вызовы инструментов и результат проверки кода. Если поиск регулярно пропускается, можно явно потребовать проверить источник и повторить сравнение. Известный факт лучше сразу приложить к заданию вместе со ссылкой или выдержкой. А продакту, который оценивает агента для команды, полезно включить язык рабочих задач в проверку: одинаковый смысл запроса ещё не гарантирует одинаковый маршрут решения.