ReGE учит агентов на своих попытках: +9,9 п.п. без дообучения

Агенты на ИИ-моделях обычно решают задачу заново каждый раз, как будто предыдущих попыток не было. Исследователи из TIGER-Lab (Цзяронг Лян, Юбо Ван, Цзыцзе Лю, Юйсюань Чжан, Пин Не и Вэньху Чэнь) предлагают это исправить фреймворком ReGE (Re-execution Guided by Experience). Он превращает логи прошлых попыток в план для новой, причём без обновления весов и без модели посильнее. На четырёх бенчмарках точность выросла в среднем на 9,9 п.п. для GPT и на 8,8 п.п. для Claude. GPT-5.6 Luna с ReGE сравнялась по качеству с более дорогой GPT-5.6 Sol.

Тренер, который не знает правильного ответа

Основная реализация называется ReGE-Syn. Сначала модель несколько раз пытается решить задачу. Затем та же модель в роли «тренера» получает ограниченные по объёму записи выполнения и финальные артефакты этих попыток. Информации о том, какая попытка верная, у неё нет. Одним вызовом тренер пишет самодостаточное руководство, где связаны найденные по задаче факты, предлагаемые действия и ловушки, на которые уже наступали.

Потом стартует «ученик»: свежий экземпляр, который начинает с исходного состояния среды. План он может выполнить, скорректировать или пропустить, если реальные наблюдения ему противоречат. Генерация попыток, синтез и выполнение идут на одной базовой модели, обучения и сильного учителя в схеме нет.

Различие между попытками и обычным выбором лучшего ответа здесь принципиальное. Неудачные прогоны тоже полезны: они показывают, какие кнопки не работают, какие запросы возвращают пустоту и где модель зря потратила шаги.

Экономика: 28% цены и на 95–98% меньше токенов

Самый наглядный результат касается стоимости. На подвыборке из 468 задач GPT-5.6 Luna с ReGE набрала 67,4%, а старшая GPT-5.6 Sol без подсказки — 67,0%. Стоимость Luna при этом составила 28% от цены Sol. Получается, что часть разрыва между «младшей» и «старшей» моделью закрывается не покупкой более дорогой модели, а повторным использованием своих же логов.

Отдельно авторы сравнивали ReGE-Syn с агентным агрегатором AggAgent на совпадающих запросах BrowseComp-Plus. Построение подсказки обошлось на 98,2% дешевле по токенам у GPT и на 95,5% у Claude. Суммарные токены построения и выполнения (вход плюс выход, без генерации исходных попыток) упали на 15,7% и 35,4% соответственно. Экономия на сборе опыта не съедается тем, что ученик потом работает дольше.

Аблации на BrowseComp-Plus показывают два эффекта. Доступ к информации о процессе, а не только к финальным ответам, связан с меньшим числом шагов у ученика. Совместный синтез даёт заметно более короткое руководство, чем подача сырой истории (Direct history) или набор независимых саммари (Independent summaries).

Что вошло в эксперимент

• Бенчмарки: Terminal-Bench 2.0 (работа в терминале), Spider2-Lite (текст в SQL), AndroidWorld (управление Android), BrowseComp-Plus (поиск и браузинг).
• Модели: GPT-5.6 Luna, GPT-5.6 Sol (как точка сравнения по цене и качеству), Claude Sonnet 5.
• Средний прирост точности: +9,9 п.п. для GPT, +8,8 п.п. для Claude относительно запуска без подсказки.
• Подвыборка из 468 задач: GPT-5.6 Luna с ReGE — 67,4%, GPT-5.6 Sol — 67,0% при 28% стоимости.
• Построение подсказки против адаптированного AggAgent: −98,2% токенов на GPT, −95,5% на Claude.
• Суммарные токены построения и выполнения: −15,7% и −35,4%.
• Конфигурация: один вызов тренера, без меток правильности, без обновления параметров, без более сильного учителя.

Для инженеров, которые строят агентные системы, вывод практичен. Если у вас уже есть параллельные прогоны, например рой агентов, их логи можно не выбрасывать, а сворачивать в одну короткую инструкцию. Дополнительная инфраструктура для этого не нужна: хватит одного вызова той же модели и хранилища записей. Дороже всего здесь будут сами исходные попытки, и в статье их стоимость в сравнение токенов не входит. Поэтому подход лучше всего подходит для задач, которые всё равно запускают несколько раз или в нескольких копиях. Для задач с ценой ошибки выше стоимости повторного прогона это тоже разумный вариант.

У метода есть и граница применимости: ученик стартует с исходного состояния среды, то есть задача должна быть воспроизводимой. Для необратимых действий в реальных системах такую схему придётся дополнять песочницей. Код проекта опубликован на GitHub, а страница проекта размещена у TIGER-Lab.