TechCrunch→ оригинал

Fable от Anthropic слишком строга для кибербезопасности

Киберспециалисты критикуют Fable от Anthropic за избыточные ограничения. По их мнению, guardrails модели настолько жесткие, что невозможно проводить даже легити

AI-обработка оригинала TechCrunch; редакция Hamidun News
Fable от Anthropic слишком строга для кибербезопасности
Источник: TechCrunch. Коллаж: Hamidun News.
◐ Слушать статью

Киберисследователи и специалисты в области информационной безопасности выражают серьёзное недовольство новой моделью Fable от Anthropic, выпущенной в открытый доступ. Проблема не в самой модели — она действительно мощная и способная — а в её охранных механизмах. Guardrails настолько строги, что даже профессионалы не могут использовать Fable для совершенно законных задач защиты и анализа систем.

Слишком много запретов для необходимой работы

Fable — новое поколение мощной языковой модели, созданное на основе передовых исследований Anthropic. Компания сознательно встроила множество ограничений, чтобы предотвратить потенциальное злоупотребление и использование для вредоносных целей. Однако guardrails оказались настолько жесткими и консервативными, что блокируют не только опасные запросы, но и совершенно легитимные исследования.

Киберспециалисты из университетов, крупных компаний информационной безопасности и корпоративных подразделений сообщают, что невозможно попросить модель помочь даже с базовыми задачами: анализом уязвимостей в коде, разработкой стратегий защиты инфраструктуры, обсуждением методов киберзащиты. Практически любой запрос, содержащий ключевые слова вроде "exploit", "vulnerability", "attack", "breach" или "malware", автоматически отклоняется. Список запрещённых операций, необходимых для работы, включает: Исследование уязвимостей в системах и приложениях Тестирование стойкости защиты корпоративных сетей Анализ методов известных кибератак для разработки защиты Создание оборонительных инструментов и скриптов безопасности * Профессиональное консультирование в области информационной безопасности ## Классическая дилемма: защита против полезности Проблема, с которой столкнулась Anthropic, подлинна и сложна.

С одной стороны, компаниям, разрабатывающим языковые модели, критически важно защищать свои системы от людей, использующих их для вредоносных целей — разработки малвари, организации атак на инфраструктуру, подбора паролей и социальной инженерии. С другой стороны, киберпрофессионалы — защитники систем, исследователи безопасности, пентестеры — должны иметь доступ к мощным современным инструментам. Они используют AI для анализа больших объёмов кода, поиска паттернов атак, разработки стратегий защиты.

"Невозможно защищать системы, если у тебя нет доступа к инструментам для анализа реальных современных угроз", — говорят исследователи в обсуждениях на Twitter и специальных форумах киберсообщества.

Anthropric столкнулась с классической дилеммой открытых моделей: как открыть мощную систему для легитимных исследователей, не давая её в руки людям с преступными намерениями? Компания выбрала консервативный подход — заблокировав по умолчанию почти всё, что связано с безопасностью. Это максимально безопасно в теории, но минимально полезно на практике.

Какие решения видят эксперты Некоторые известные специалисты предлагают более гибкие подходы.

Модель могла бы требовать дополнительной верификации для задач в области безопасности — проверку профессиональных учётных данных, документирование принадлежности к аккредитованной организации, проведение review процесса перед использованием. Другие предлагают создать отдельную версию Fable для киберспециалистов с более мягкими guardrails, но с соответствующими условиями использования и постоянным мониторингом.

Что это значит для индустрии

Спор о guardrails Fable отражает более широкую проблему всей AI-индустрии. Компаниям нужно найти баланс между защитой от злоупотребления и полезностью моделей для легитимного использования. Слишком строгие ограничения отталкивают экспертов, которые могли бы помочь находить проблемы и совершенствовать безопасность. Это может привести к тому, что профессионалы просто будут использовать другие инструменты, расфокусируя экосистему безопасности вместо её укрепления.

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.

Хотите не читать про ИИ, а внедрить его?

«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.

Что вы думаете?
Загружаем комментарии…