Исследователи Microsoft внедрили бэкдор в ИИ-агента, изменив менее 10 нейронов

Представьте: вы поручили ИИ-агенту поправить тесты в репозитории. Он читает файлы, запускает команды, справляется с проверками безопасности. Но после наступления определённой даты посреди работы выдаёт команду, которая скачивает и запускает чужой код. Если оболочка агента разрешает такое действие, команда выполняется с выданными ему правами.

Исследователи Microsoft описали именно такой сценарий в работе о Lazarus. По их данным, для внедрения бэкдора достаточно изменить менее десяти редко активных нейронов в языковой модели. Полноценное переобучение не требуется. Практический смысл здесь вполне земной: файл весов способен содержать скрытое вредоносное поведение, даже если агент на его основе успешно прошёл привычные тесты.

Как спрятать команду в модели

Внутри языковой модели есть нейроны, которые редко активируются при обычной работе. Авторы предлагают перенастроить несколько таких нейронов под конкретное условие. Например, они начинают реагировать, когда во входных данных появляется дата после наступления 2027 года.

Это возможно благодаря тому, что модель уже умеет различать многие признаки входного текста. По описанию исследователей, простой классификатор, настроенный примерно на 50 примерах, может отделять входы с нужным условием от остальных. Атакующий использует эту готовую способность распознавания, чтобы собрать скрытый переключатель поведения.

После срабатывания изменённый нейрон вмешивается в формирование ответа и навязывает выбранный токен — фрагмент текста. Несколько таких вмешательств можно соединить в последовательность, которая формирует вредоносную команду. Дальше важна архитектура приложения: если агент передаёт эту команду терминалу, изменения внутри модели превращаются в действие на машине.

Для такой модификации, утверждают авторы, достаточно вычислительных ресурсов, позволяющих запускать саму модель. Это снижает порог атаки: отдельный дорогостоящий цикл обучения не нужен. Однако необходим доступ на запись к файлу весов. Из приведённого описания не следует, что Lazarus можно внедрить обычным сообщением в чат.

Почему успешный тест не снимает риск

Бэкдор рассчитан на то, чтобы оставаться незаметным до появления нужного условия. Если проверочный набор его не содержит, модель ведёт себя нормально. Поэтому результат «все тесты пройдены» в данном случае говорит только о поведении на проверенных сценариях.

Для команды, которая выпускает агента с доступом к инструментам, это меняет предмет проверки. Нужно оценивать и ответы модели, и происхождение конкретного файла, который попал в развёртывание. Подмена может произойти через скомпрометированную учётную запись, хранилище или процесс доставки. Собственная разработка модели тоже не исключает этот сценарий.

Microsoft сообщает, что современные ИИ-агенты способны замечать аномальные изменения весов, если специально поручить им такой анализ. Но авторы прямо оговаривают предел: сканирование не доказывает безопасность модели. Для надёжного выявления изменений требуется сравнение с исходными, неизменёнными весами. А значит, исходный экземпляр и доверие к его происхождению становятся частью защиты.

В предоставленном описании нет подробной таблицы результатов по моделям и частоте успешных атак. Поэтому переносить вывод на любую языковую модель или считать каждый агентский продукт уязвимым было бы преждевременно. Работа показывает конкретный механизм и практический риск, а не универсальную вероятность взлома.

Что проверить у себя

Первое действие — установить, откуда взялись используемые веса и как подтверждается их целостность при доставке. Команде нужен проверяемый эталон: сравнение с неизвестной копией не решает проблему доверия. Проверки поведения при этом остаются полезными, но не заменяют контроль файлов.

Второе — пересмотреть права агента. Может ли он скачивать и запускать произвольные программы? Доступны ли ему секреты и рабочая инфраструктура? Чем шире разрешения, тем больше последствий у одной скрытой команды. Изоляция, ограничение доступа и наблюдение за действиями нужны даже модели с хорошими результатами тестов.

Microsoft также описывает контроль происхождения моделей в Foundry и разработку дополнительных средств сканирования и подписывания весов. Эти заявления стоит отделять от результата исследования: сама компания признаёт остаточный риск компрометации доверенного поставщика. Для разработчика главный вывод конкретен: веса модели входят в цепочку поставки приложения, а полномочия агента определяют цену их подмены.