Сатья Наделла призвал считать ИИ-модели скомпрометированными и предложил четыре меры

Сатья Наделла, генеральный директор Microsoft, предложил считать все ИИ-модели потенциально скомпрометированными и представил комплекс мер для защиты. Его выступление переоценивает подход к безопасности, когда продвинутые системы интеллекта всё глубже проникают в критические области экономики и инфраструктуры.

Главная проблема: чёрные ящики

Наделла называет фундаментальную проблему: ИИ-модели воспринимаются как "набор вложенных чёрных ящиков", решения которых мы просто принимаем или отвергаем. Мы не видим логику модели и не контролируем её действия. Его решение — более прозрачная система: модели должны быть изолированы, наблюдаемы, и оставлять "защищённые от взлома и понятные человеку следы".

Четыре столпа безопасности

1. Предполагать компрометацию с самого начала. Наделла призывает исходить из того, что любая модель может быть взломана. Модель нужно содержать в изолированной среде от запуска. Концепция — "аварийный тормоз": авторизованный пользователь всегда должен иметь возможность паузировать или отключить модель, включая её работу в конкретной задаче.

2. Независимые аудиты. Модели нужны регулярные проверки третьими сторонами, не заинтересованными в их коммерческом успехе. Это выявляет скрытые уязвимости и аномалии в поведении.

3. Своевременное раскрытие инцидентов. Компании должны незамедлительно сообщать об обнаруженных проблемах и уязвимостях, без замалчивания и задержек.

4. Проверяемые данные. Все наборы данных, на которых модель обучается и которые она использует, должны быть прозрачны и поддаваться независимой проверке.

Стандартизация через отрасль

Наделла подчёркивает, что более продвинутые модели потребуют более сложных технологий изоляции. Без единых стандартов каждая компания разработает собственный подход, что создаст пробелы и несогласованность в защите. Индустрия должна договориться об общих методах и требованиях.

Такой взгляд вписывается в растущую дискуссию о контроле над ИИ, но сам Наделла критикуется за терминологию — он называет ИИ "сверхинтеллектом", что критики воспринимают как излишне алармистское.