AdaPRA поднимает 80B Qwen на лидербордах Kaggle-типа на 24,5 пункта

Агенты для data science умеют проходить весь цикл машинного обучения сами: от загрузки данных до сабмита предсказаний. Но на человеческих лидербордах они до сих пор заметно уступают участникам-людям. Исследователи из Carnegie Mellon University (Atharva Naik, Vivek Chari, Pol Llado, Daniel Fried, Carolyn Rosé, Benjamin Van Durme, Sam Thomson и Justin Svegliato) предлагают чинить не модель, а процесс. Их система AdaPRA с пятью попытками на задачу подняла 80B-модель Qwen на 24,5 перцентильных пункта на DSPredict-Easy и на 14,8 пункта на DSPredict-Hard, одновременно сократив число процессных ошибок.

Где агенты теряют очки

Авторы начинают с диагностики. Слабый результат агентов объясняется не только нехваткой «интеллекта». Чаще всего они ошибаются в самом ходе работы, и ошибки эти довольно приземлённые:

• недостаточная разведка данных: агент хватается за модель, не разобравшись, что лежит в таблице;
• ненадёжная валидация: схема проверки даёт красивые цифры, которые не переносятся на тест;
• баги в коде, которые тихо портят пайплайн;
• плохое использование фиксированного бюджета: в каждой попытке агент заново делает тот же EDA и обучает те же базовые модели, вместо того чтобы двигаться дальше.

Последний пункт особенно показателен. Если у агента есть пять попыток на одну задачу, логично, что каждая следующая должна опираться на предыдущие. На практике он начинает с нуля.

Аудитор с чек-листом и память между попытками

AdaPRA состоит из двух частей. Первая: постоянная обвязка для кодирующего агента (persistent harness), которая накапливает знания между попытками на одной и той же задаче. Что уже исследовано, какие базовые модели обучены и что из этого сработало, остаётся в памяти и не пересчитывается заново.

Вторая часть: process reward agent, то есть агент-аудитор. Классические процессные reward-модели оценивают шаги рассуждения постфактум по тексту. Здесь аудитор действует иначе: он проверяет траекторию и рабочую директорию агента, запуская проверки, а не просто читая логи. Он может посмотреть, действительно ли валидация устроена корректно, нет ли утечки данных и выполнено ли то, что агент заявил.

Оценивает аудитор по рубрикам, то есть структурированным чек-листам критериев. Ключевая особенность в слове «адаптивные»: рубрики перенастраиваются под каждую конкретную задачу, а не остаются универсальным шаблоном. Авторы отмечают два эффекта. Рубрики, засеянные на лёгких задачах, обобщаются на трудные. Дополнительная адаптация к задаче улучшает результат ещё сильнее.

Цифры и переносимость

Основные результаты при пяти попытках на задачу:

• Qwen (80B): +24,5 пункта перцентиля на DSPredict-Easy;
• Qwen (80B): +14,8 пункта на DSPredict-Hard;
• число процессных ошибок снижается на обоих наборах;
• рубрики, добытые из запусков одной базовой модели, улучшают другую, DeepSeek-V3.2;
• AdaPRA обходит DataPRM, ранее предложенную сильную PRM для data science.

Перенос между моделями здесь, пожалуй, самая интересная деталь. Если рубрики, собранные на ошибках Qwen, помогают DeepSeek-V3.2, значит, они фиксируют типовые провалы самой задачи и подхода, а не причуды конкретной модели. Знания о том, как правильно делать валидацию и разведку, можно накапливать как отдельный актив, не привязанный к весам.

Прирост на DSPredict-Hard вдвое меньше, чем на Easy, и это честный ориентир: с чек-листами агент подтягивается к середине таблицы заметно легче, чем к верхушке на сложных соревнованиях.

Код опубликован, а у проекта есть страница atharva-naik.github.io/AdaPRA, так что результаты можно воспроизвести.

Командам, которые строят агентов для аналитики и ML-автоматизации, работа даёт понятный рецепт. Прежде чем менять базовую модель, стоит посмотреть на траектории: если агент повторяет EDA в каждой попытке или проверяет себя на утекающей валидации, помогут сохранение состояния между запусками и отдельный аудитор, который исполняет проверки. Рубрики можно собирать на лёгких задачах и переиспользовать на разных моделях, то есть один раз вложиться в такой набор критериев и применять его при смене провайдера.