RGR защищает LLM от потери навыков при самодистилляции через геометрию представлений

Модель, которая учит сама себя, повышает средний балл на бенчмарках и при этом тихо забывает задачи, которые решала раньше. Именно такой эффект обнаружили авторы препринта arXiv:2610.12855 для семейства методов on-policy self-distillation (OPSD). Они же предложили противоядие: регуляризацию геометрии представлений, RGR.

Как работает OPSD и где он ломается

В OPSD одна и та же языковая модель играет две роли: учителя и ученика. Различаются только контексты, в которые она погружена. Внешняя сильная модель для дистилляции не нужна, сигнал для обучения модель получает от самой себя. Для постобучения это удобно: дешевле, проще масштабируется, не зависит от чужих весов.

Цена вскрылась при разборе обучения по отдельным запросам, а не по среднему результату. Запросы, на которые модель отвечала правильно на ранних стадиях, по ходу оптимизации начинали решаться неверно. Общая метрика при этом продолжала расти: новые победы перекрывали потери, и на графике всё выглядело благополучно. Если следить только за итоговым средним, проблему легко пропустить.

Геометрия скрытых представлений как индикатор

Авторы связали деградацию с изменением структуры скрытых представлений. По их наблюдениям, внутри кластеров представления становятся менее компактными, а сами кластеры хуже отделяются друг от друга. Проще говоря, модель начинает «смешивать» то, что раньше различала, и вместе с этим теряет часть прежних навыков.

На этом наблюдении построен RGR. Метод добавляет регуляризацию, которая в ходе постобучения:

• удерживает компактность внутри кластера представлений;
• сохраняет разделение между кластерами;
• встраивается в существующие OPSD-методы без изменения их базовой процедуры оптимизации;
• проверен на нескольких OPSD-методах и бенчмарках, а код открыт на GitHub (репозиторий supermachinelearner/RGR).

Вывод в аннотации сформулирован осторожно: RGR «в целом» ослабляет деградацию и сохраняет прирост способностей. Конкретных чисел в тексте аннотации нет, поэтому оценить масштаб эффекта можно только по полной версии статьи и самому репозиторию.

Что здесь важно, а что пока неясно

Ценность работы в диагностике не меньше, чем в самом методе. Забывание при самоулучшении фиксируют на уровне отдельных запросов, и геометрия представлений служит для него измеримым прокси. Такой индикатор можно считать во время обучения и ловить дрейф раньше, чем просядут бенчмарки.

Открытыми остаются вопросы, на которые аннотация не отвечает: как именно определяются кластеры, сколько вычислений добавляет регуляризатор, как метод ведёт себя на больших моделях и длинных прогонах. Формулировка «в целом» тоже означает, что на части сочетаний методов и задач эффект может быть слабее.

Что проверить на практике

Если ваша команда экспериментирует с самодистилляцией или другими схемами самоулучшения, стоит добавить в оценку два шага. Первый: отслеживать не только средний балл, но и долю запросов, которые модель решала на ранних чекпоинтах, а потом перестала. Второй: сравнить прогоны с RGR и без него на собственных данных. Поскольку метод не меняет основной цикл оптимизации, подключить его к готовому OPSD-пайплайну должно быть несложно, а открытый код позволяет проверить заявленный эффект до принятия решений о переходе на него.