AgentHorizon: лучший судья GPT-5.5 набрал лишь 80,9% на длинных задачах агентов

Авторы AgentHorizon выпустили бенчмарк из 1 373 задач, который проверяет не самих computer-use агентов, а автоматических судей, выносящих им вердикт. Из одиннадцати протестированных судей лучшим оказался GPT-5.5 в агентной конфигурации: 80,9% balanced accuracy на основном сплите AH. Судьи уже используются и при обучении агентов, и при их оценке без участия человека. Поэтому такой результат на длинных задачах выглядит скромным запасом прочности.

Почему длинную траекторию трудно судить

Траектория computer-use агента состоит из длинной последовательности скриншотов и действий. Со стороны она может выглядеть завершённой, но при этом нарушать ограничение из инструкции или оставлять нежелательный побочный эффект. Например, агент довёл дело до конца, но сделал это в другом приложении или с другими параметрами. Чтобы поймать такое, судье нужно сверить всю историю с исходной просьбой пользователя. Свидетельство успеха или провала нередко спрятано где-то посреди сотен шагов.

Авторы построили бенчмарк на 166 часах человеческих записей на трёх операционных системах. Ключевой приём в том, как получены негативные примеры. Для близких по смыслу инструкций записаны отдельные траектории, а затем инструкции меняют местами. В итоге судья видит добросовестно выполненную работу, но по соседней, несовместимой просьбе. Оценка «выглядит прилично» здесь не срабатывает: нужно проверить, что сделано именно то, о чём просили.

Что и как измеряли

Бенчмарк выпущен в трёх вариантах: основной frontier-сплит AgentHorizon (AH), упрощённый AgentHorizon-Simple (AH-S) и девелоперский AgentHorizon-Development (AH-D). Одиннадцать судей проверяли двумя способами. В первом полную траекторию целиком передавали модели. Во втором модели работали как кодинг-агенты внутри пяти разных агентных обвязок (harness) и могли сами изучать материалы.

• 1 373 задачи в формате «инструкция — траектория»
• 166 часов человеческих записей, три ОС
• до 300 скриншотов и действий в одной траектории
• 11 судей, 5 агентных обвязок
• лучший результат: GPT-5.5, 80,9% balanced accuracy на AH

Что показали результаты

Доступ к инструментам помогает не всем. Одни модели с ним сработали лучше, но у open-weight моделей результат ухудшился. Агентная обвязка не даёт автоматического выигрыша: судье нужно уметь грамотно искать в данных и не терять нить на длинной дистанции.

Второе наблюдение касается характера ошибок. Судьи резко расходятся в способности принимать корректную траекторию и отвергать неудачную. Один склонен всё одобрять, другой придирается к верным решениям. Общая точность этого не показывает, поэтому метрика balanced accuracy здесь полезна: она усредняет качество по обоим классам, а случайное угадывание в бинарной постановке даёт около 50%. Относительно этой планки 80,9% — заметный результат, но с ощутимым хвостом ошибок.

В выводах авторы говорят о нехватке судей, которые умеют находить и проверять часто скрытые свидетельства правильного выполнения задачи внутри длинной истории взаимодействия.

Как использовать эти данные на практике

Команды, которые обучают агентов с автоматической наградой или сравнивают их в оценочных прогонах, могут проверить собственного судью на парах «своя инструкция — чужая траектория». Для этого достаточно трёх сплитов AgentHorizon. Нужно смотреть отдельно на долю принятых верных траекторий и долю отклонённых неверных, а не только на общую точность. Для open-weight судей стоит проверять, не ломает ли подключение инструментов результат. Пока лучший судья ошибается заметно чаще, чем хотелось бы, на длинных задачах разумно оставлять человеческую выборочную проверку.