GPT-4o mini держит 37–38 правил замены слов при 95% точности

Работа, опубликованная в Hugging Face Daily Papers, предлагает измерять предел языковой модели в штуках правил, как измеряют объём памяти. Единица нагрузки здесь одно правило вида «замени слово А на слово Б» в тексте без смысла. Результат называется «ёмкостью инструкций» (instruction capacity): сколько таких правил модель выполняет, пока доля верных замен не опустилась ниже заданного порога. Для GPT-4o mini порог в 95% верных замен достигается при 37–38 правилах. Если заменяемые слова занимают максимальную долю текста, ёмкость падает до 18–19 правил.

Почему старые тесты не дают одного числа

О том, что качество падает с ростом числа условий, известно давно. Но выразить предел модели в единицах нагрузки и с погрешностью пока не получалось. Причина в самих тестах: инструкции в них разные по природе и сложности. Например, в IFEval просят «написать больше 400 слов» или «упомянуть слово ИИ три раза». В FollowBench к задаче по одному добавляют ограничения пяти типов. В IFScale от 10 до 500 инструкций одного вида, и лучшие из 20 моделей на 500 выполняют лишь 68%. Часто проверку делает другая модель-судья, а она завышает результат. В одной из цитируемых работ при десяти инструкциях судья показал 0,657, а программная проверка 0,213.

В итоге число инструкций смешивается с составом набора и растущей сложностью. Автору нужна была инструкция, у которой нет этих недостатков:

• неделимая, то есть нельзя выполнить наполовину;
• независимая от других правил по построению задачи;
• однородная, чтобы десятое правило не было сложнее первого;
• проверяемая программой;
• наблюдаемая в каждой точке ответа.

Как устроен замер

Замена слова в бессмысленном тексте подходит под все пять пунктов. У каждой замены ровно один верный исход, а эталонный ответ считает программа. Задание генерируется из трёх зёрен случайности и воспроизводится побайтно. Ответ проверяется построчно, и ошибки делятся на три вида.

Каждое вхождение заменяемого слова становится отдельным испытанием «верно или нет» с известными позицией в ответе и номером правила в списке. Так одна модель даёт сотни тысяч наблюдений, а не одну оценку на задачу.

Дальше работает статистическая модель. Сначала она по интервалам измеряет, как вероятность верной замены зависит от пяти факторов:

• длины текста;
• позиции слова;
• плотности замен;
• числа правил;
• номера правила в списке.

Потом эти зависимости описываются гладкими законами. Поправка на смещение аппроксимации возвращает базовый уровень, не зависящий от выбора кодировки. Ёмкость вычисляется как решение обратной задачи: при какой нагрузке вероятность опускается до нужного уровня. Погрешность считается дельта-методом и учитывает разброс сложности отдельных запросов.

Что получилось у GPT-4o mini

Измерение заняло 2958 запросов и 642 430 испытаний. По каждому фактору нагрузки модель показала закономерную деградацию. Отдельно описаны закономерности «схлопывания» ответа: с какой скоростью и в каком месте он разваливается. Кроме ёмкости при 95% верных замен автор называет ещё усталостную и гарантированную ёмкости. Их определения в тексте работы даны подробнее, чем в вводной части.

Главные цифры:

• около 37–38 правил при доле верных замен 0,95;
• около 18–19 правил при полной плотности замен.

Разрыв вдвое показывает, что предел зависит не только от числа правил, но и от того, насколько плотно они срабатывают в тексте. Для разработчика промптов это важно: один и тот же список правил может быть безопасным на редком тексте и ненадёжным на плотном.

Открыты код инструмента, данные измерения и «паспорт» модели. Каждое число паспорта пересчитывается из опубликованных точек, то есть результат проверяем.

Зачем это инженерам

Автор рассматривает паспорт модели как калибровку будущего «измерителя нагрузки» промптов. Идея в том, чтобы оценивать сложность произвольного промпта в тех же единицах, что и ёмкость модели, и заранее видеть, влезает ли он в её предел. Пока это заявка на будущее, а не готовый инструмент.

Ограничения тоже очевидны. Измерена одна модель, GPT-4o mini, а задача искусственная: замена одиночных слов в тексте без смысла. Реальные инструкции про стиль, формат и использование инструментов устроены сложнее. Бенчмарк AgentIF, построенный на промптах настоящих агентов, показал, что даже лучшие модели полностью выполняют меньше 30% инструкций. Паспорт на замене слов задаёт чистую нижнюю шкалу, но не заменяет такие тесты.

Практический вывод: если агент опирается на длинный список независимых правил в системном промпте, их число стоит сравнивать с измеренной ёмкостью модели и оставлять запас. Если сравнивать модели или поколения одной линейки, ёмкость с погрешностью даёт более честную метрику, чем средний балл по разнородному набору.