Оценка интерпретируемости SAE: пайплайн измерения важнее архитектуры модели

Исследователи в июле 2026 года опубликовали на arXiv работу, которая показала: при сравнении интерпретируемости разреженных автоэнкодеров (sparse autoencoders, SAE) результат сильнее зависит от выбранного пайплайна оценки, чем от архитектуры самих моделей.

Что и как проверяли

Авторы проверяли, отражают ли autointerpretability-оценки устойчивые свойства признаков модели или же побочные особенности процедуры измерения. В стандартном пайплайне одна языковая модель объясняет каждый признак SAE, а вторая языковая модель оценивает качество этого объяснения. Именно на такие оценки опираются, когда сравнивают интерпретируемость SAE из разных статей.

Эксперимент охватил четыре метрики, две модели и четыре оси методологических вариаций — и по всем условиям исходное допущение о стабильности оценок не подтвердилось.

• Четыре метрики оценки: simulation, detection, fuzzing и purity
• Две модели: Pythia-160M и Apertus-8B
• Четыре оси методологической вариации в пайплайне оценки
• Detection — самая стабильная метрика, fuzzing — ненадёжная во всех условиях
• Три инструмента от авторов: разложение дисперсии, Stability Check и Minimum Reporting Checklist

Почему методология важнее архитектуры

Методологическая вариативность в сумме превышает архитектурную по всем метрикам и обеим протестированным моделям — это главный вывод работы. Проще говоря, разброс оценок, вызванный устройством самой процедуры измерения, оказался больше, чем разброс между разными архитектурами SAE, которые эта процедура должна различать.

«Методологическая вариативность в сумме превышает архитектурную по

всем метрикам и всем протестированным моделям», — говорится в аннотации работы на arXiv.

Это подрывает саму логику межстатейных сравнений: если два коллектива получили разные autointerpretability-оценки, различие может объясняться настройками их пайплайнов, а не качеством самих автоэнкодеров.

Где оценки ломаются

Каждая метрика показала собственный профиль нестабильности, а надёжнее всех держалась detection; fuzzing, напротив, оказался ненадёжным во всех проверенных условиях. Разные метрики нельзя считать взаимозаменяемыми — выбор конкретной метрики сам по себе меняет итоговый вывод.

Отдельная проблема — ранжирование признаков. По данным исследования, top-k списки самых интерпретируемых признаков не сохраняются при смене корпуса и условий выборки. При этом средние оценки остаются стабильными и маскируют нестабильность на уровне отдельных признаков — сбой, который невозможно заметить, отслеживая только сходство объяснений.

Что это значит

Ненадёжная оценка тормозит прогресс в интерпретируемости именно тогда, когда надёжные инструменты понимания ИИ-систем особенно нужны. Чтобы часть сравнений в литературе о SAE перестала отражать различия пайплайнов вместо различий моделей, авторы предлагают метод разложения дисперсии, процедуру Stability Check и Minimum Reporting Checklist — минимальный набор параметров, которые статьи должны раскрывать.

Частые вопросы

Какая метрика оценки оказалась самой надёжной?

По результатам работы, самой стабильной из четырёх метрик оказалась detection. Метрика fuzzing, наоборот, была признана ненадёжной во всех проверенных условиях, а simulation и purity показали собственные профили нестабильности.

Что авторы предлагают для более надёжной оценки?

Авторы предлагают три инструмента: метод разложения дисперсии (variance decomposition), процедуру Stability Check для проверки устойчивости оценок и Minimum Reporting Checklist — список параметров пайплайна, которые нужно раскрывать в статьях, чтобы сравнения оставались сопоставимыми.