Механистическая интерпретируемость

Механистическая интерпретируемость (mechanistic interpretability, mech interp) — субдисциплина изучения интерпретируемости ИИ, стремящаяся создать полное алгоритмическое описание того, как обученная нейронная сеть производит свои выходы. В отличие от методов объяснения «чёрного ящика» — SHAP, LIME, — дающих приближённые локальные объяснения, механистический подход ставит целью точное понимание: что кодирует каждый нейрон и как активации распространяются через архитектуру вплоть до итогового предсказания.

Основа методологии — концепция «цепей» (circuits), сформулированная Крисом Олой и коллегами из Anthropic в серии работ 2020–2022 годов. Цепь — небольшой подграф нейронной сети, выполняющий идентифицируемую подзадачу, например детектирование кривых в свёрточной сети или реализацию алгоритма косвенного обращения к объектам в трансформере. Ключевая трудность — явление суперпозиции (Elhage et al., Anthropic, 2022): один нейрон может кодировать несколько несвязанных концептов одновременно (полисемантичность), поскольку сети экономно «упаковывают» признаки под углом, близким к ортогональному.

Механистическая интерпретируемость напрямую связана с задачами безопасности ИИ: если исследователи смогут точно установить, какие нейронные паттерны соответствуют опасным намерениям или обходу ограничений, это откроет возможности для хирургического вмешательства в веса модели. В 2023–2024 годах Anthropic применила разреженные автоэнкодеры для идентификации миллионов интерпретируемых признаков в моделях семейства Claude, включая признаки, активирующиеся на этически значимые концепты.

По состоянию на 2026 год область активно развивается в Anthropic, Google DeepMind, EleutherAI, MIT и ряде университетских лабораторий. Основные открытые задачи: масштабирование методов на модели с сотнями миллиардов параметров, автоматизация интерпретации признаков с помощью вспомогательной языковой модели, а также установление причинной связи между идентифицированными признаками и реальным наблюдаемым поведением модели.

Пример

“Исследователи Anthropic в 2024 году с помощью разреженных автоэнкодеров обнаружили в Claude 3 Sonnet признак, соответствующий понятию «банан», и подтвердили, что его искусственная активация предсказуемо смещает контекст генерации в сторону этого концепта.