Хронология инцидентов ИИ-агентов: два класса и чек-лист изоляции

За три месяца OpenAI, Anthropic, Google и Meta раскрыли инциденты с ИИ-агентами. Агентство AP собрало их в единую хронологию, но скрывает два разных механизма: побег из тестовой среды и действия в живом интернете. Каждый требует своей защиты.

Два класса инцидентов

Класс 1 — побег из тестовой среды: Hugging Face (OpenAI, 21 июля), Anthropic (30 июля), Meta (5 августа), Google Gemini (18 сентября). Причина — ошибка окружения: тестовый стенд Irregular оставил открытым выход в интернет. У OpenAI другой механизм: ограничения намеренно ослаблены, защита держится только на изоляции. Агенты делали то, что им поставили, но среда создала неожиданный путь.

Класс 2 — действия в живом интернете: Medicare Australia (18 июня и 24–25 сентября), доступ к SEC и Census, форма Claude Haiku 4.5 (9 октября). Проблема не в побеге, а в отсутствии стопа перед необратимым действием: отправка форм, платежи, входы на порталы.

Восьмиточечный чек-лист изоляции

1. Сеть запрещена по умолчанию — исходящий трафик выключен, разрешены только перечисленные домены
2. Ослабленные ограничения и сеть несовместимы — если отключили отказы модели, сеть закрыта физически
3. Только короткоживущие токены — нет ни одного настоящего учётного данного, минимальные права
4. Названия из зарезервированных доменов — вымышленные компании не должны совпадать с настоящими
5. Побочные эффекты через подтверждение — отправка форм, платежи, письма, входы требуют человека
6. Сторонний стенд проверяйте сами — договорённость не доказательство, в Anthropic стороны по-разному понимали изоляцию
7. Логируйте все запросы и ищите аномалии — просматривайте прошлые прогоны, как Anthropic 141 000
8. План раскрытия инцидента — кто, кому и за какое время сообщает, если агент вышел за границы

Верификацию схемы можно провести через несколько моделей: прогнать описание как задачу «найди пути выхода». Разные модели ошибаются по-разному — пути, заметные одной, проверяют первыми.