STI-OPD: вероятностная интервенция учителя для многоуровневых агентских задач

Авторы Junnan Liu, Linhao Luo, Zhijun Chen, Qianren Mao, Thuy-Trang Vu и Gholamreza Haffari представили STI-OPD — фреймворк стохастической интервенции учителя для многоуровневого агентского обучения на основе дистилляции. Работа зарегистрирована на arXiv под номером 2610.10878 в разделе Computation and Language.

Проблема on-policy дистилляции в агентских системах

On-policy distillation эффективно передает способности от сильного учителя слабому студенту через плотный supervison на уровне отдельных токенов. Подход показал перспективы на сложных задачах, включая математическое мышление. Однако в многоуровневых агентских системах студентские решения изменяют последующие наблюдения. Ошибка на ранних шагах накапливается через всю траекторию взаимодействия. В результате траектории студента дрейфуют далеко от распределения учителя — его supervison становится ненадежным или даже вредит обучению, снижая эффективность всего метода.

Архитектура STI-OPD

Учителем интервенции руководит расхождение между политиками студента и учителя. Во время многоуровневого взаимодействия система иногда заменяет действие студента на действие учителя — это максимизирует накопление надежного supervison для обучения.

Ключевая инновация — стохастическая стратегия интервенции. Вместо жестких пороговых условий или фиксированных графиков вмешательства система: оценивает расхождение политик через KL divergence между распределениями действий учителя и студента; преобразует это расхождение в вероятность вмешательства; вероятностно сэмплирует решение об интервенции в каждый момент времени. Это позволяет адаптивно балансировать контроль учителя с самостоятельным исследованием студента, зависимо от текущего состояния расхождения.

Обучение на смешанных траекториях

Получившиеся траектории содержат смесь действий как от учителя, так и от студента. Чтобы учиться на таких смешанных данных корректно, авторы вводят Importance-Weighted Reverse KL objective. Этот компонент исправляет несоответствие в сэмплировании токенов между ответами, сгенерированными учителем, и распределением студентской политики. Это сохраняет исходную цель on-policy дистилляции и избегает смещений в процессе обучения.

Результаты и применимость

Эксперименты охватили две категории задач: tool-integrated reasoning (задачи с использованием внешних инструментов) и long-horizon interaction (многоходовое взаимодействие с окружением). На всех оцененных бенчмарках и во всех размерах студентских моделей STI-OPD превосходит самый сильный предыдущий baseline on-policy дистилляции. Абляционные исследования подтверждают: оба ключевых компонента — интервенция, управляемая расхождением политик, и importance-weighted коррекция — вносят вклад в итоговый прирост качества. Статья отмечена как работа в процессе разработки и доступна в форматах PDF, HTML и TeX Source на arXiv.