LayerX: атака BioShocking заставляет ИИ-агента слить пароли пользователя

Компания по кибербезопасности LayerX разработала схему атаки под названием BioShocking, которая заставляет ИИ-модель поверить в ложное утверждение — например, что «2+2 не равно 4», — а затем использует возникшую путаницу в рассуждениях модели, чтобы получить от неё конфиденциальные данные, включая пароли пользователя.

Как работает атака BioShocking

LayerX специализируется на вопросах ИИ-безопасности. Продемонстрированная компанией схема опирается на манипуляцию базовой логикой модели: если убедить ИИ принять заведомо ложное утверждение за истину, дальнейшие рассуждения модели начинают опираться на эту ошибку, а её защитные механизмы — фильтры, которые в норме блокируют выдачу чувствительных данных, — перестают срабатывать надёжно.

• Атаку BioShocking разработала специализирующаяся на ИИ-безопасности компания LayerX
• Схема начинается с убеждения модели в ложном утверждении вроде «2+2 не равно 4»
• В результате атакующие получают доступ к чувствительным данным, включая пароли пользователя
• Случай демонстрирует, что доверие к ИИ как обработчику конфиденциальной информации остаётся под вопросом

Почему подобные уязвимости становятся опаснее

Проблема манипуляции логикой ИИ-моделей — не новость: с 2023 года исследователи безопасности регулярно описывают схожие приёмы обхода защитных фильтров через искажение контекста разговора. Но ставки растут вместе с возможностями самих ассистентов: всё больше ИИ-инструментов получают доступ к паролям, платёжным данным и личным аккаунтам пользователей — через автозаполнение форм, браузерных ИИ-агентов и встроенные в них менеджеры паролей. В такой конфигурации успешная атака на логику модели превращается не в курьёзную ошибку генерации текста, а в прямую утечку реальных учётных данных.

Кому стоит быть осторожнее

Больше всего от подобных схем рискуют пользователи браузерных ИИ-агентов и корпоративных ассистентов, которым явно или неявно доверили доступ к учётным записям — например, для автоматизации рутинных задач вроде заполнения форм или оплаты счетов. Компании, встраивающие ИИ-модели в рабочие процессы с доступом к паролям и внутренним системам, обычно рассчитывают, что защитные фильтры моделей достаточно надёжны — демонстрация LayerX ставит это допущение под сомнение и подчёркивает необходимость дополнительных уровней проверки, независимых от самой модели.

Что это значит

Демонстрация LayerX — очередное напоминание, что современные ИИ-модели остаются уязвимы к сравнительно простым манипуляциям с логикой рассуждений, а по мере того как ассистенты получают доступ к паролям и личным данным, цена такой уязвимости для пользователей растёт.