Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
Безопасность и правоРазбор · На радарHabr AI→ оригинал

Взлом Fireworks AI слил стенограммы чатов Notion AI: что делать командам

Notion сообщила, что у её ИИ-подрядчика Fireworks AI утекли стенограммы чатов Notion AI — менее чем у 1% пользователей. Злоумышленник 23 октября добрался до среды разработки через стороннего облачного провайдера. Fireworks сначала уверяла, что в затронутом наборе только синтетические тесты, но 8 ноября признала: данные клиентов были доступны. Пострадали чаты, которые шли в функцию Insights.

AI-обработка оригинала Habr AI; редакция Hamidun News
Взлом Fireworks AI слил стенограммы чатов Notion AI: что делать командам
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Смените пароли и ключи, которые вставляли в чаты Notion AI
Ключевой факт #2Insights отключена, владельцы смотрят «Анализ инцидентов безопасности»
Ключевой факт #3Проверьте, что ИИ-подрядчик реально не хранит ваши данные

Вы пользуетесь удобным ИИ-ассистентом в рабочем инструменте и считаете, что ваши данные живут у вендора. На деле между вами и моделью часто стоит ещё один подрядчик, а за ним облачный провайдер. Именно эта цепочка и дала сбой в истории с Notion и Fireworks AI.

Что произошло

Notion сообщила, что у Fireworks AI, поставщика инфраструктуры для ИИ, утекли стенограммы чатов Notion AI в небольшом числе рабочих пространств. По данным компании, 23 октября злоумышленник получил доступ к среде разработки Fireworks через стороннего облачного провайдера. Были скомпрометированы метаданные ресурсов, платёжная информация, веса моделей и наборы данных некоторых клиентов.

Это не первый звонок. Ещё в начале октября Fireworks уже сталкивалась с похожим инцидентом: хакеры добрались до переменных среды с API-ключами и токенами для ограниченного числа аккаунтов. То есть за месяц у одного поставщика случились две утечки.

Хронология у Notion выглядит так:

  • 2 ноября Fireworks уведомила Notion о раскрытии набора данных, который, по её словам, содержал только синтетические тестовые данные.
  • Notion на всякий случай заблокировала передачу данных в Fireworks, удалила всё из систем поставщика и к 3 ноября остановила процессы обучения моделей.
  • 8 ноября Fireworks подтвердила, что доступ к данным клиентов, включая пользователей Notion, всё же был.

Первичное заключение «там только синтетика» оказалось неверным. Хорошо, что Notion не стала на него полагаться и отрубила поток данных заранее.

Почему там вообще оказались чаты

Fireworks обеспечивает работу некоторых моделей с открытыми весами внутри Notion AI. Кроме того, она анализирует сохранённые диалоги для функции Insights: администраторы видят, как команды используют ИИ. Утекли именно стенограммы, которые обрабатывались для Insights. Сейчас эта функция отключена.

По словам Notion, в чатах не было указано, кто их вёл и из какого рабочего пространства они пришли. Результатов вызова инструментов (tool call results) в стенограммах тоже не было. Однако текст реплик остался, а люди вставляют в чат с ассистентом что угодно: фрагменты кода, ключи доступа, пароли, кусок клиентской переписки. Обезличивание метаданных тут не спасает, если секрет лежит прямо в тексте сообщения.

По условиям договора Fireworks вообще не должна была хранить данные Notion. Контракт запрещал, а данные всё равно нашлись. Бумажные гарантии без технической проверки работают плохо.

Что делать прямо сейчас

Масштаб небольшой: затронуто менее 1% пользователей. Владельцам рабочих пространств Notion советует открыть раздел «Анализ инцидентов безопасности» (Security incident review) в веб-версии для настольных компьютеров и передать участникам ссылку, по которой те скачают свои расшифровки. Тем, кого задело, нужно сменить пароли, API-ключи и любые учётные данные, которые они вводили в затронутые чаты. Если уведомления не было ни у пользователя, ни у владельца пространства, действий пока не требуется.

Для тех, кто строит ИИ-продукты, вывод шире одного инцидента:

  • Составьте карту субподрядчиков. Выясните, через чьи серверы проходят промпты и ответы, где они хранятся и зачем. Аналитика поверх диалогов — отдельный канал утечки.
  • Держите рубильник. Notion смогла быстро заблокировать передачу данных. Проверьте, что вы так же можете отключить поставщика, не ломая продукт.
  • Не верьте на слово заявлению «данные синтетические». Просите подтверждения и считайте худший сценарий, пока его не исключили.
  • Не храните лишнего. Если диалоги нужны только для аналитики, режьте срок хранения и вычищайте очевидные секреты до отправки подрядчику.
  • Учите пользователей и себя. Ключи и пароли в чат с ассистентом не вставляют. Если уже вставили, их нужно ротировать.

Ограничения и контекст

Неизвестно, сколько именно данных видели атакующие и использовали ли их. Известно только, что доступ к данным клиентов подтверждён. Остальные клиенты Fireworks тоже могли пострадать. Notion говорит о своих пользователях, а масштаб инцидента у самого поставщика пока непрозрачен.

Отдельная ирония в том, что в мае Notion запустила платформу для разработчиков с функцией Workers: клиенты пишут свою логику и запускают её в защищённой песочнице, не полагаясь на внешнюю инфраструктуру. Чем больше ИИ-агентов и автоматизаций живёт внутри продукта, тем важнее знать, где заканчивается ваш периметр и начинается чужой.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что произошло?

Notion сообщила, что у Fireworks AI, поставщика инфраструктуры для ИИ, утекли стенограммы чатов Notion AI в небольшом числе рабочих пространств. По данным компании, 23 октября злоумышленник получил доступ к среде разработки Fireworks через стороннего облачного провайдера. Были скомпрометированы метаданные ресурсов, платёжная информация, веса моделей и наборы данных некоторых клиентов. Это не первый звонок.

Что известно по теме: почему там вообще оказались чаты?

Fireworks обеспечивает работу некоторых моделей с открытыми весами внутри Notion AI. Кроме того, она анализирует сохранённые диалоги для функции Insights: администраторы видят, как команды используют ИИ. Утекли именно стенограммы, которые обрабатывались для Insights. Сейчас эта функция отключена. По словам Notion, в чатах не было указано, кто их вёл и из какого рабочего пространства они пришли. Результатов вызова инструментов (tool call results) в стенограммах тоже не было.

Что известно по теме: что делать прямо сейчас?

Масштаб небольшой: затронуто менее 1% пользователей. Владельцам рабочих пространств Notion советует открыть раздел «Анализ инцидентов безопасности» (Security incident review) в веб-версии для настольных компьютеров и передать участникам ссылку, по которой те скачают свои расшифровки. Тем, кого задело, нужно сменить пароли, API-ключи и любые учётные данные, которые они вводили в затронутые чаты. Если уведомления не было ни у пользователя, ни у владельца пространства, действий пока не требуется.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…