Berkeley описала адаптивное параллельное мышление: модель сама решает, когда ветвиться

Рассуждающие модели упёрлись в простую арифметику: чем дольше они думают, тем дороже и медленнее работают. Исследователи Berkeley AI Research Стивен Се и Тони Лиан выпустили обзор адаптивного параллельного рассуждения (Adaptive Parallel Reasoning, APR). В нём они утверждают, что решение о ветвлении мысли должна принимать сама модель, а не внешний обвес из эвристик. Один из авторов, Тони Лиан, соруководил ThreadWeaver, одним из разбираемых методов, и прямо раскрыл это в тексте.

Почему линейный Chain-of-Thought стал узким местом

Прогресс последних лет держится не только на росте данных и параметров, но и на масштабировании вычислений на этапе инференса. Модели, которые выводят промежуточные шаги, откаты и перебор гипотез, доминируют в математике, кодинге и агентных бенчмарках. Плата за это двойная.

Во-первых, контекст. Накопление неудачных веток размывает внимание модели, она хуже отличает нужное от отвлекающего, и качество падает. Этот эффект называют context rot. Во-вторых, задержка. Она растёт пропорционально длине рассуждения. В задачах на миллионы токенов планирования пользователи, по ссылке авторов на работу Qu et al., ждут десятки минут, а иногда часы.

Параллелизм снимает обе проблемы: независимые потоки не тащат чужой контекст и выполняются одновременно. Но большинство существующих схем навязывают структуру модели снаружи.

Каталог подходов: от голосования до общего KV-кэша

Обзор раскладывает поле на три группы.

Простой fork-and-join:

• Self-consistency / Majority Voting (Wang et al., 2023): независимо сэмплируем несколько полных цепочек и берём самый частый ответ.
• Best-of-N (Stiennon et al., 2022): то же, но победителя выбирает обученный верификатор.
• Общий минус: ветки не знают друг о друге, вычисления дублируются.

Эвристический структурный поиск:

• Tree of Thoughts (Yao et al., 2023): BFS/DFS по «мыслям» с отсечением через оценку LLM.
• Graph of Thoughts (Besta et al., 2024) и Skeleton of Thoughts (Ning et al., 2024): родственные схемы декомпозиции.
• Monte-Carlo Tree Search (Xie et al., 2024; Zhang et al., 2024): оценка узлов случайными прогонами и UCB-стиль баланса исследования и эксплуатации.
• Минус: нужно заранее знать, как раскладывать задачу.

Новые варианты внутри модели:

• ParaThinker (Wen et al., 2025): два фиксированных этапа, параллельная генерация потоков и затем синтез. Используются обучаемые управляющие токены <think_i>, позиционные эмбеддинги для каждой мысли и двухфазная маска внимания.
• GroupThink (Hsu et al., 2025): одна LLM ведёт несколько взаимозависимых траекторий, которые видят частичный прогресс друг друга на уровне токенов и подстраиваются прямо во время генерации.
• Hogwild! Inference (Rodionov et al., 2025): воркеры пишут в общий KV-кэш, а RoPE позволяет склеивать блоки кэша в разном порядке без пересчёта. Явного протокола координации нет.

Общая слабость всех трёх групп в том, что решение «параллелить ли вообще» принято за модель. Авторы приводят пример: одинаковая структура для «сколько будет 25+42?» и для задачи о наименьшей плоской области, в которой отрезок единичной длины можно повернуть на 180°, на первом случае сжигает вычисления впустую, а на втором, вероятно, выбирает не ту декомпозицию.

Что меняет адаптивность

Адаптивность в APR означает динамическое распределение вычислений между параллельными и последовательными операциями прямо на инференсе. Парадигму ввели Pan et al. в работе Learning Adaptive Parallel Reasoning with Language Models (2025). Термином «метод APR» авторы обзора обозначают именно её конкретную реализацию.

На практике модель генерирует специальные токены, управляющие переходом между режимами. В показанной в обзоре траектории ThreadWeaver внутри блока <Parallel> идут два плана и два пути решения, после чего потоки сходятся к одному ответу в рамке.

Авторы называют три преимущества:

• В отличие от Tree of Thoughts, не нужны доменные эвристики. Обучение с подкреплением даёт общие стратегии декомпозиции. Модели сами находят паттерны вроде запуска следующего шага параллельно с самопроверкой предыдущего или подстраховки основного подхода запасным.
• В отличие от Best-of-N, нет дублирования. Модель заранее формирует набор неперекрывающихся подзадач и только потом раздаёт их потокам.
• В отличие от неадаптивных схем, модель может вообще не ветвиться, если накладные расходы на параллелизм превышают выгоду.

Что проверять инженеру

Для тех, кто строит инференс-стек, из обзора следуют три практических вопроса. Первый: считать нужно задержку по стенному времени и суммарные токены раздельно. Параллельные потоки сокращают ожидание, но при плохой декомпозиции суммарная стоимость может не уменьшиться. Это вывод из логики подходов, а не цифра из обзора. Второй: изоляция потоков против общего KV-кэша. Hogwild! экономит пересчёт и память, а ParaThinker и ThreadWeaver-стиль дают более чистое разделение контекстов. Третий: у адаптивной модели появляется новая метрика, то есть доля задач, где она правильно отказалась от параллелизма. На простых запросах именно этот отказ отличает APR от Best-of-N с фиксированным N.

Для команд, которые сейчас платят за длинные цепочки рассуждений в агентных и кодинговых сценариях, APR выглядит как следующий шаг после наращивания длины генерации. Вместе с обзором BAIR оформила и терминологию, по которой теперь можно сравнивать такие работы.