GPT-6 Astra исправила зацикливание Qwen: точность выросла с 7,9% до 48,1%

Локальная модель получает математическую задачу, начинает рассуждать и застревает на повторениях. Токены расходуются, пользователь ждёт, готового ответа нет. Команда MIT CSAIL показала экспериментальный способ чинить такой сбой: поручить другой языковой модели найти источник зацикливания и поправить числовые параметры проблемной сети. Для разработчика здесь полезная зацепка: низкая точность иногда связана с тем, что модель не заканчивает решение.

В опубликованном опыте GPT-6 Astra редактировала Qwen3.5-0.8B. После вмешательства результат на математическом тесте MATH-500 вырос с 7,9% до 48,1%. Авторы назвали подход weight-space programming — программированием через веса модели. Результаты и условия эксперимента приведены в публикации исследователей.

Что именно починили

Веса — числа, которые определяют, как нейросеть обрабатывает входные данные. Обычно их меняют во время обучения. Здесь агенту дали доступ к параметрам и возможность проверять гипотезы, запретив обычное дообучение через вычисление градиентов.

На простом примере проблема выглядит так: модель уже вывела нужную формулу, затем снова объясняет предыдущий шаг и возвращается к нему ещё раз. Ответ обрывается, когда заканчивается разрешённое число токенов. При оценке такой запуск может оказаться неуспешным, даже если полезная часть решения уже появилась.

По описанию исследователей, агент нашёл в двух слоях Qwen компонент, поддерживающий повторения, и ослабил его вклад. Изменение затронуло всего 0,016% параметров. Это похоже на поиск конкретной неисправности: сначала определить, где возникает нежелательное поведение, затем проверить, помогает ли небольшое вмешательство.

Практический интерес здесь вызывает сама последовательность работы. Агент анализирует устройство сети, предлагает объяснение сбоя, меняет параметры и получает обратную связь. Для команды, которая обслуживает собственную модель, это возможный дополнительный инструмент диагностики. Готового универсального рецепта исправления любых повторов эксперимент пока не даёт.

Почему рост точности требует оговорок

Авторы прямо связывают улучшение с устранением зацикливания. Поэтому результат нельзя автоматически читать как появление новых математических знаний. Если модель раньше не доходила до финального ответа, устранение помехи само по себе способно резко поднять оценку.

Для продукта разница существенная. Пользователю нужен законченный результат, и исправление повторов может оказаться очень полезным. Но продакт, обещающий после такого вмешательства более сильное математическое рассуждение вообще, должен отдельно проверить это обещание на задачах своего сервиса.

В работе есть показательная проверка на другой небольшой модели, Gemma 3 270M. Сопоставимого улучшения исследователи не получили. Этот отрицательный результат ограничивает вывод: удачная правка одного выраженного сбоя ещё не означает, что агент научился надёжно улучшать любую сеть.

Кроме того, отсутствие дообучения не делает процедуру бесплатной. Анализ, проверочные запуски и оценка результата требуют вычислений. Сравнивая такой подход с другими способами исправления, команде придётся учитывать все эти расходы. Важна и цена ошибки: небольшое изменение параметров нужно оценивать по поведению модели целиком, включая задачи, ради которых её выбрали первоначально.

Что проверить на своей модели

Начать стоит с журналов неудачных ответов. Как часто модель повторяется? Сколько запросов заканчивается по лимиту? Отличаются ли эти случаи от обычных ошибок в вычислениях или фактах? Такая разметка помогает понять, какую проблему вообще предстоит решать.

Затем нужен набор проверок, который агент не использует при подборе изменений. На нём стоит сравнить качество ответов, длину генерации и время ожидания до и после вмешательства. Отдельно полезно проверить привычные рабочие сценарии: улучшение одного теста может сопровождаться ухудшением другого.

Для команды, работающей через закрытый API, прямое редактирование весов обычно недоступно. Но диагностический вывод применим и там: разделяйте ошибки знания, ошибки рассуждения и незавершённые ответы. От этого зависит следующий шаг — менять модель, настройки генерации или устройство самого приложения. Эксперимент MIT даёт основание внимательнее смотреть на причины провалов, прежде чем закладывать бюджет на новое обучение.