Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизКод / SDK · В работуHabr AI→ оригинал

Сканер репозитория находит скрытые ИИ-активы и собирает ML-BOM до релиза

SAST, SCA и DAST не видят половину ИИ-системы: промпты, адаптеры, MCP-серверы и датасеты — это конфиги и данные, а не код. Российский INFERA AI.SafeCode добавил MLSecOps-скан, который собирает реестр таких активов прямо из репозитория. Находки уходят в общую очередь уязвимостей, а состав системы выгружается в ML-BOM. Скан детерминированный и веса не запускает.

AI-обработка оригинала Habr AI; редакция Hamidun News
Сканер репозитория находит скрытые ИИ-активы и собирает ML-BOM до релиза
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Реестр показывает связиагент → модель → MCP → векторная база
Ключевой факт #2Статус «не проверялось» отделён от «подписи нет»
Ключевой факт #3Находки MLSEC попадают в тот же триаж, что SAST и SCA

Знакомая ситуация: security-команда спрашивает «что у нас в проде из ИИ», и честного ответа нет. Кто-то положил LoRA-адаптер в соседнюю папку, кто-то прописал MCP-сервер в клиентском JSON, кто-то оставил в ноутбуке вывод с ключом. Классические сканеры тут слепы: SAST читает код, SCA читает зависимости, а половина ИИ-артефактов это конфигурации и данные.

Российская платформа INFERA AI.SafeCode отвечает на это MLSecOps-сканом. Ему нужен только репозиторий. Он читает код и конфиги по правилам, а на выходе даёт реестр ИИ-активов и список находок.

Что считается ИИ-активом

Сканер выделяет одиннадцать типов: модель, адаптер, датасет, промпт, векторное хранилище, агент, MCP-сервер, ML-библиотека, внешний провайдер, ноутбук и пайплайн. У каждого есть одинаковый набор атрибутов: путь, версия, дайджест, источник, статус подписи, лицензия и уровень риска.

Важны связи между активами. Агент использует модель, берёт инструменты у MCP-сервера и читает из векторной базы. Без этих связей реестр превращается в плоский список, и непонятно, что заденет конкретный дефект.

Что именно проверяется

Примеры из правил сканера:

  • инструмент агента умеет выполнять команды оболочки или делать необратимые действия без подтверждения человека;
  • в описании MCP-инструмента спрятаны указания для модели, а версия сервера не закреплена;
  • эндпоинт модели опубликован без аутентификации или доверяет коду из репозитория модели;
  • векторная база доступна без ключа;
  • формат весов исполняет код при загрузке, а в pickle-потоке есть опасные импорты;
  • в датасете есть персональные данные, признаки отравления или запрещающая обучение лицензия;
  • в сохранённом выводе .ipynb остались чувствительные значения.

Отдельно ловится дрейф. Для промпта хранится слепок текста, и следующий скан покажет, что инструкцию модели тихо поменяли. То же с описанием инструментов MCP.

Честность вместо чистого отчёта

Самая здравая идея здесь в статусах подписи. Их пять, и один из них «не проверялось». Если веса лежат во внешнем хранилище, платформа их не скачивает и прямо пишет, что проверка не дошла. Это не «подписи нет» и не «всё в порядке». Так отчёт не создаёт ложного чувства безопасности. Та же логика с датасетами: их читают выборкой, и в таблице всегда видна доля просмотренного.

Файлы моделей при разборе не запускаются, читается только структура. Поэтому сканировать можно даже заведомо вредоносный артефакт. Скан детерминированный, без токенов и LLM, так что результаты между запусками не плавают.

ML-BOM и теневой ИИ

Состав системы выгружается в CycloneDX как ML-BOM, по аналогии с SBOM. Его можно приложить к релизу или отдать заказчику. Фильтр «Только не объявленные» показывает активы, которые найдены в коде, но нигде не заведены, то есть тот самый теневой ИИ.

Что с этим делать

Можно не покупать конкретный продукт, но взять подход. Заведите реестр ИИ-активов и храните дайджесты. Закрепляйте версии MCP-серверов. Не пускайте агентов к необратимым действиям без подтверждения. Прогоняйте этот набор проверок в CI и пускайте находки в ту же очередь, что и обычные уязвимости. Отдельный процесс для ИИ-безопасности вам не нужен.

Оговорка: статья написана вендором, независимых замеров полноты и ложных срабатываний в ней нет. Но сам перечень проверок и дисциплина формулировок хорошо подходят как чек-лист для собственного аудита.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что считается ИИ-активом?

Сканер выделяет одиннадцать типов: модель, адаптер, датасет, промпт, векторное хранилище, агент, MCP-сервер, ML-библиотека, внешний провайдер, ноутбук и пайплайн. У каждого есть одинаковый набор атрибутов: путь, версия, дайджест, источник, статус подписи, лицензия и уровень риска. Важны связи между активами. Агент использует модель, берёт инструменты у MCP-сервера и читает из векторной базы. Без этих связей реестр превращается в плоский список, и непонятно, что заденет конкретный дефект.

Что известно по теме: что именно проверяется?

Примеры из правил сканера: инструмент агента умеет выполнять команды оболочки или делать необратимые действия без подтверждения человека; в описании MCP-инструмента спрятаны указания для модели, а версия сервера не закреплена; эндпоинт модели опубликован без аутентификации или доверяет коду из репозитория модели; векторная база доступна без ключа; формат весов исполняет код при загрузке, а в pickle-потоке есть опасные импорты; в датасете есть персональные данные, признаки отравления или…

Что известно по теме: честность вместо чистого отчёта?

Самая здравая идея здесь в статусах подписи. Их пять, и один из них «не проверялось». Если веса лежат во внешнем хранилище, платформа их не скачивает и прямо пишет, что проверка не дошла. Это не «подписи нет» и не «всё в порядке». Так отчёт не создаёт ложного чувства безопасности. Та же логика с датасетами: их читают выборкой, и в таблице всегда видна доля просмотренного. Файлы моделей при разборе не запускаются, читается только структура. Поэтому сканировать можно даже заведомо вредоносный артефакт.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…