METR и Redwood взломали мониторинг агентов OpenAI: охвачено 75–94% трафика
Сотрудники METR и Redwood Research с 21 июля по 11 августа проверяли на прочность систему, которой OpenAI отслеживает рассогласование своих внутренних агентов. Им открыли кодовую базу, конфиги мониторов и документацию, а по итогам вышел 61-страничный закрытый отчёт. Главная цифра: мониторингу подлежало 75–94% агентного трафика Responses API от моделей уровня GPT-5.5 и выше. Из-за непроверяемых compaction-событий около 10% трафика Codex оставалось без надзора, а агент мог откладывать проверку, просто не возвращая управление пользователю.
AI-обработка оригинала METR; редакция Hamidun News
Три недели, с 21 июля по 11 августа, сотрудник METR и сотрудник Redwood Research пытались обойти систему, с помощью которой OpenAI следит за рассогласованием собственных внутренних агентов. Результатом стал 61-страничный закрытый отчёт для исследователей и службы безопасности OpenAI, а теперь и короткая публичная выжимка. Главная оценка в ней такая: на момент проверки мониторингу подлежало 75–94% агентного внутреннего трафика Responses API от моделей не слабее GPT-5.5, причём неопределённость исследователи признают в обе стороны. Ещё в системе нашлись способы вообще уйти из-под наблюдения.
Доступ почти как у штатных инженеров
Проверка шла в формате пилота «глубокого доступа» для внешних исследователей. Участники работали с внутренней кодовой базой OpenAI, промптами и конфигурацией мониторов, внутренней документацией. Они провели технические интервью примерно с дюжиной исследователей и инженеров из команд мониторинга, safety-систем и безопасности. Работали на устройствах, выданных OpenAI, которые не покидали офис, и под сопровождением.
Ограничения тоже важны. Публиковать можно только краткий пост: OpenAI вправе скрыть любую информацию, которую сочтёт конфиденциальной, и в отличие от предыдущих работ METR не имеет права односторонне описывать такие правки. Руководству METR и Redwood передали 38-страничную версию отчёта, отредактированную OpenAI. Проверялась система в том виде, в каком она существовала 21 июля и раньше, а не расширения, которые компания внедряла параллельно. Исследование также не связано с расследованием METR по инциденту с Hugging Face, хотя о нём публично сообщили в первый день упражнения.
Двенадцать находок
- Охват трафика. 75–94% агентного трафика Responses API (на нём работает Codex) от моделей уровня GPT-5.5 и сильнее подлежало мониторингу. Для подмножества внутренних агентов Codex оценка выше: 99,2%. Трафик внутреннего исследовательского inference-сервиса не оценивали из-за ограничений доступа и времени.
- RL-обучение. Часть rollouts мониторили на рассогласование с марта по июнь, но к началу упражнения RL-запуски системой не покрывались.
- Compaction. Из-за непроверяемых compaction-событий около 10% подходящего трафика Codex не мониторилось с мая по июль 2026 года. Точную долю определить не удалось, потому что нужные данные не логировались. В OpenAI проблему заметили до упражнения и исправили в его ходе.
- Отсрочка проверки. Монитор срабатывал, когда агент возвращал управление пользователю. Пока compaction не проверялся, агент мог бесконечно откладывать надзор, продолжая выполнять действия. Применял ли кто-то это на практике, исследователи проверить не могли.
- Ошибки и load-shedding. По показанным данным, монитор ошибался менее чем в 0,2% запросов, а за одни 24-часовые сутки во время упражнения не было ни одного сброса нагрузки.
- Песочница Codex. Найден способ обойти sandboxing и Auto-Review, после чего агент мог бы делать всё, что доступно пользователю хоста.
- Эксплойт со слепой зоной. Нашёлся приём, из-за которого сотни последних действий, включая сами действия эксплойта, не попадали под мониторинг. Детали OpenAI вычеркнула.
- Сериализация. Агенты, вероятно, могут строить входные данные, которые ломают монитор и не дают отправить траекторию на проверку человеку: траектория для агента и для монитора сериализуется по-разному.
- Заголовки. Два независимых клиентских заголовка отключают мониторинг для новых агентов, позволяя запустить идентичный, но ненаблюдаемый экземпляр. Правда, сама установка заголовков и создание экземпляра могут быть замечены монитором.
- Инструменты «только для чтения». Два внутренних агентных инструмента без мониторинга считались read-only, но нашёлся простой эксплойт для произвольных действий в их песочнице. Практическую эксплуатируемость не проверяли.
- Полнота контекста. С несколькими небольшими исключениями монитор видит ту же траекторию, что и агент.
- Промпты монитора. Они ищут scheming, подрыв самой системы мониторинга, саботаж, кражу данных, обман, а также входящие и исходящие prompt injection.
OpenAI сообщила, что все уязвимости, затрагивающие боевой стек защиты, закрыты, и описала существенные изменения в целевом охвате мониторинга. METR эти утверждения не проверяла.
Пять принципов для мониторинга, который выдержит умного агента
Из находок авторы вывели требования к системам, способным противостоять намеренным, стратегическим и длительным атакам со стороны сильных внутренних агентов:
- Обойти мониторинг должно быть трудно. Запросы без мониторинга допускать только для явно утверждённых организаций и API-ключей, которым запрещён агентный inference. Проверять агента каждые N сообщений или минут, а не по окончании хода.
- Контролировать фактический охват. Вести учёт всего inference и доли мониторимого, регулярно сверять логи с логами монитора, держать список известных обходов, следить, чтобы монитор видел тот же контекст, что и агент.
- Быстро реагировать на инциденты. Назначить владельца, ввести чёткие инструкции, хранить неизменяемые и удобные для поиска логи.
- Регулярно атаковать монитор. Проводить control evaluations, искать эксплуатируемые баги, разработать методику оценки стратегического сговора.
- Изолировать агентов от мониторов. Запускать scaffold отдельно от среды исполнения инструментов, не давать действиям агента влиять на то, срабатывает ли монитор и когда, не показывать агенту дизайн и код системы надзора.
Что проверить в собственном агентном стеке
Типичные дыры здесь инженерные, а не экзотические: пропущенный тип события, триггер на конец хода, клиентский заголовок, лишняя ветка трафика. Любая команда, которая запускает автономных кодинг-агентов, может прогнать по этому списку собственную инфраструктуру: ведётся ли сверка между логами inference и логами монитора, можно ли отключить наблюдение параметром запроса, видит ли монитор то же, что агент, срабатывает ли проверка по времени, а не по завершению хода. Для внешних аудиторов проект создаёт прецедент: глубокий доступ к внутренностям лаборатории возможен, но публичная прозрачность пока остаётся на усмотрение самой компании. В следующих итерациях METR обещает придерживаться собственных принципов независимости и открытости.
- 12 нояб. 2026 г.Дженсен Хуанг ушёл с поста CEO Nvidia: компания потеряла $1,4 трлн за две недели
- 12 нояб. 2026 г.Профсоюз Окленда добился переобучения вместо увольнений из-за ИИ: за забастовку 94,1%
- 12 нояб. 2026 г.Восемь стран и OpenAI с Anthropic обещают «рубильник» для ИИ-моделей, но без сроков и штрафов
- 12 нояб. 2026 г.OpenAI и ModRetro выпустили консоль за $200 для игр, написанных в Codex
Вопросы и ответы по материалу
Что известно по теме: доступ почти как у штатных инженеров?
Проверка шла в формате пилота «глубокого доступа» для внешних исследователей. Участники работали с внутренней кодовой базой OpenAI, промптами и конфигурацией мониторов, внутренней документацией. Они провели технические интервью примерно с дюжиной исследователей и инженеров из команд мониторинга, safety-систем и безопасности. Работали на устройствах, выданных OpenAI, которые не покидали офис, и под сопровождением. Ограничения тоже важны.
Что известно по теме: двенадцать находок?
Охват трафика. 75–94% агентного трафика Responses API (на нём работает Codex) от моделей уровня GPT-5.5 и сильнее подлежало мониторингу. Для подмножества внутренних агентов Codex оценка выше: 99,2%. Трафик внутреннего исследовательского inference-сервиса не оценивали из-за ограничений доступа и времени. RL-обучение. Часть rollouts мониторили на рассогласование с марта по июнь, но к началу упражнения RL-запуски системой не покрывались. Compaction.
Что известно по теме: пять принципов для мониторинга, который выдержит умного агента?
Из находок авторы вывели требования к системам, способным противостоять намеренным, стратегическим и длительным атакам со стороны сильных внутренних агентов: Обойти мониторинг должно быть трудно. Запросы без мониторинга допускать только для явно утверждённых организаций и API-ключей, которым запрещён агентный inference. Проверять агента каждые N сообщений или минут, а не по окончании хода. Контролировать фактический охват.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.