StoreBench: LLM-агенты управляют интернет-магазином и проигрывают скрипту — 49% против 97%

Исследователи выложили на arXiv StoreBench — среду, в которой LLM-агент управляет интернет-магазином одежды среднего размера на коммерческом бэкенде производственного уровня. Семь передовых моделей прогнали через 11 сценариев длительностью 30–45 дней и через полный симулированный год. Лучший результат у DeepSeek-V4-Pro: модель проходит порог в 49% ячеек «задача × сид». Скриптовая политика smart-triage справляется в 97%. Люди-эксперты с теми же инструментами и бюджетом набрали 0,708 по композитному баллу, а модели не превзошли 0,700.

Мир, который не ждёт агента

Авторы начинают с претензии к существующим агентным бенчмаркам. В большинстве из них мир статичен и двигается только тогда, когда действует агент. Награда выдаётся одним финальным вердиктом, а проходной балл назначен произвольно. Между тем RL-среды сейчас главный рычаг улучшения LLM на стадии пост-тренинга, и дефекты оценки напрямую превращаются в дефекты обучения.

В StoreBench всё устроено иначе. Клиенты заказывают круглосуточно, поставщики меняют цены и выходят из строя, а рыночные шоки приходят с частичным предупреждением или совсем без него. Агент работает через те же 29 инструментов, которыми пользуется живой оператор магазина. Это проверка долгосрочного планирования и экономических решений в условиях неопределённости.

Ключевые параметры среды:

• 29 merchant-инструментов, как у человека-оператора;
• оконный бюджет операций: симулированное время определяется числом совершённых действий, поэтому задержки модели на него не влияют;
• пороги прохождения откалиброваны по скриптовым опорным политикам;
• награда защищена от каталога известных reward hacks;
• каждый эпизод воспроизводится идентично при той же последовательности действий;
• 11 сценариев по 30–45 дней плюс полный симулированный год, три сида мира, одинаковый уровень reasoning effort.

Эвристика обходит frontier

Самая заметная цифра — разрыв с простым скриптом. Ни одна из семи моделей в среднем не сравнялась с политикой smart-triage. DeepSeek-V4-Pro проходит 49% ячеек, эвристика — 97%. Люди обходят все модели, но с узким отрывом: 0,708 против 0,700 по композитному баллу. Статья в аннотации не раскрывает, как именно считается композит. Названа только лучшая модель, остальные шесть в аннотации не перечислены.

На длинной дистанции картина другая. На полном симулированном годе под харнесом Claude Code большинство моделей, по словам авторов, заметно улучшают результат. Из аннотации неясно, с чем именно сравнивается этот прирост. Вероятный вывод: от обвязки и длины горизонта зависит не меньше, чем от самой модели.

Сильнее всего впечатляет обучающий эксперимент. В GRPO-прогоне Qwen3.5-27B обучали всего на пяти непересекающихся задачах. Средний композитный балл на отложенных задачах вырос с 0,136 до 0,373, то есть примерно в 2,7 раза. Для среды с честным, защищённым от хаков вознаграждением это хороший сигнал. Даже крошечная обучающая выборка переносится на новые сценарии.

Что брать в работу

Авторы публикуют пять примеров обучающих задач, десять образцов траекторий, а также инструменты оценки и верификации. Полная среда и оценочный набор закрыты, чтобы бенчмарк не попал в обучающие корпуса. Это защищает от контаминации, но независимо перепроверить таблицу результатов пока нельзя. Приходится опираться на данные авторов: препринт не рецензирован, а моделей всего семь при трёх сидах мира.

Командам, которые строят агентов для операционных задач, у StoreBench можно позаимствовать четыре практики. Во-первых, калибровать порог успеха по простой эвристике, а не по интуиции: если скрипт проходит 97%, планка «модель справилась» должна быть выше. Во-вторых, считать время в симуляции от действий, чтобы медленная модель не получала несправедливого преимущества или штрафа. В-третьих, вести каталог reward hacks и проверять награду против него до начала RL. В-четвёртых, добиваться детерминированного воспроизведения эпизодов, иначе сравнивать прогоны бессмысленно.

И главный практический вывод для заказчиков агентов. Пока базовый скрипт на типовой операционной рутине обходит передовые модели, автономность стоит выдавать дозированно: связка «эвристика плюс LLM для нестандартных случаев» выглядит разумнее полной передачи магазина агенту.