Inkling 2 Small: 68 часов предобучения — только первый этап, затем 9 дней RL на 2048 GPU

Когда в анонсе новой модели написано «8,4 трлн токенов за 68 часов», хочется немедленно пересчитать бюджет на обучение собственной модели. Не спешите. Эта цифра честная, но относится к одному куску большого конвейера. Разберём, что именно сделала Thinking Machines Lab с Inkling 2 Small и как читать такие числа.

Что за модель и почему 68 часов — это много и мало одновременно

Inkling 2 Small — мультимодальная языковая модель, которую компания представила 5 ноября 2026 года. Всего в ней 594 млрд параметров, но это архитектура Mixture-of-Experts (MoE): на каждый токен включается лишь часть «экспертов», около 17 млрд параметров, то есть примерно 3% модели. Вычислений на токен получается как у модели среднего размера, а ёмкость знаний — как у гигантской.

Предобучение на 8,4 трлн токенов заняло 68 часов, меньше трёх суток. В пересчёте это порядка 34 млн токенов в секунду в среднем. Такой темп стал возможен благодаря двум вещам: стойкам NVIDIA GB300 NVL72 и четырёхбитному формату NVFP4. Меньше бит на число значит меньше памяти и трафика между чипами и быстрее матричные умножения. Обратная сторона — точность, поэтому такие форматы требуют аккуратной настройки обучения.

Что скрывается за заголовком

Главная оговорка из самого анонса: 68 часов — это только первый этап. После него были ещё три этапа обучения на дополнительных данных. Что именно было в этих данных и сколько они заняли, в доступном фрагменте материала не раскрыто, поэтому не стоит делать вывод, что вся модель «собралась за трое суток».

Дальше шёл Reinforcement Learning: девять дней на 2048 GPU и более 17 млн траекторий. Траектория — это один полный прогон модели: она получает задачу, действует, а затем её результат оценивается. Если поделить 17 млн на девять суток, выходит не менее 22 траекторий в секунду непрерывно. На этом этапе модель учится не просто продолжать текст, а доводить задачи до проверяемого результата: код, рассуждения, работа с инструментами.

Получается типичная картина современного обучения. Дешёвый и быстрый массив предобучения даёт базу, а настоящая цена и качество набираются на поздних этапах, где данные дороже, а сигнал точнее. Начало статьи на Хабре заканчивается на фразе «Получившаяся модель набрала…», так что итоговые результаты бенчмарков в доступном фрагменте не приведены. Сверяйте их с первоисточником.

Что из этого забрать себе

Первое: сравнивайте модели по полному циклу, а не по эффектной цифре. Время предобучения без числа GPU, этапов и стоимости RL мало что говорит о затратах.

Второе: MoE с малой долей активных параметров — рабочий способ получить большую модель без пропорционального роста стоимости вычислений. Но в инференсе все 594 млрд придётся где-то держать в памяти, так что экономия касается скорее FLOPs, чем объёма железа.

Третье: четырёхбитное обучение, судя по этому релизу, выходит из лабораторий в продакшен-пайплайны. Если вы планируете собственный пре- или дообучающий стек на Blackwell-классе, NVFP4 стоит как минимум протестировать.

И последнее. RL на миллионах траекторий требует инфраструктуры для их генерации и проверки, а не только GPU. Именно там чаще всего и застревают команды, пытающиеся повторить результат.