Lean4AgenticRL: многоуровневые процесс-награды довели LAR-27B до 77,3%

Долгие задачи в инженерии ПО — будь то разработка, отладка или автоматизация в терминале — требуют от агентов способности учиться на двух уровнях: финальный результат и промежуточные действия. Однако обычные награды за исход предоставляют ограниченную информацию о том, какие конкретные шаги были полезны, что затрудняет эффективное обучение с подкреплением. Исследователи Amazon представили Lean4AgenticRL — первый фреймворк, который заземляет многоуровневые процесс-награды в единой схеме формализации Lean4 для открытого обучения агентов. На его основе обучены модели LAR-9B и LAR-27B, которые превосходят сопоставимые модели-аналоги и достигают 77,3% на TerminalBench-2.1.

Три уровня аннотирования вместо одного

Существующие подходы опираются преимущественно на высокоуровневые награды за финальный исход, практически игнорируя информацию о низкоуровневом поведении при вызовах инструментов и среднеуровневом прогрессе по этапам workflow. Lean4AgenticRL решает эту проблему, добавляя три взаимосвязанных уровня наград:

• Награда за результат (outcome reward) — оценка успешности финального исхода задачи
• Награда за этап workflow (workflow-stage reward) — оценка прогресса на каждом этапе выполнения плана
• Награда за поведение инструментов (tool-call reward) — оценка корректности вызовов внешних инструментов и функций

Формализация через Lean4 как основа верификации

Фреймворк начинает с построения problem-specific workflow — плана решения, который балансирует возможности самого агента и контролируемость его выполнения. Затем этот workflow формализуется в единой схеме Lean4, а все три уровня аннотируются в одной системе. Такая формализация позволяет верифицировать поведение агента в общей системе, гарантируя логическую согласованность действий.

Для обучения используется модифицированный алгоритм GRPO с нормализацией по этапам (workflow-stage-normalized GRPO). Вместо того чтобы обрабатывать каждый шаг независимо, алгоритм распределяет кредит между сопоставимыми этапами разных попыток выполнения. Это значительно повышает эффективность обучения, поскольку агент получает более точную информацию о том, какие именно фазы решения и действия действительно способствуют успеху.

LAR-9B и LAR-27B: результаты на бенчмарках

Используя Lean4AgenticRL, исследователи обучили два семейства моделей:

• LAR-9B (модель с 9 миллиардами параметров)
• LAR-27B (модель с 27 миллиардами параметров)

Результаты тестирования впечатляют:

• LAR-27B достигла 77,3% на TerminalBench-2.1
• LAR-27B достигла 84,2% на SWE-Bench-Verified
• Обе модели семейства LAR превосходят базовую модель в среднем на 9,89%
• LAR-27B превосходит лучший известный сопоставимый по размеру аналог на 5,07%

Эти результаты демонстрируют потенциал интеграции формальных методов в открытое обучение с подкреплением для агентов. Lean4AgenticRL показывает, что более детальная аннотация процесса и формальная верификация способны значительно повысить качество работы агентов на сложных инженерных задачах.