Modal ускорила генерацию Sakana Namazu на 35% с помощью модели-черновика
Ускорить LLM для рабочего API мешают две вещи: дорогая память GPU и медленная генерация ответа. Для Sakana Namazu примерно на триллион параметров Modal совместила выборочное сжатие весов с небольшой моделью, которая предлагает продолжение на проверку основной. По данным команды, задержка на токен снизилась примерно на 35%, а одна реплика смогла принимать примерно на 40% больше трафика до роста очередей.
AI-обработка оригинала Modal Blog; редакция Hamidun News
Если ваш ИИ-сервис долго отвечает, покупка дополнительных GPU может оказаться дорогим способом обойти проблему. Часть времени ускорители ждут, часть работы повторяется, а небольшая модель, призванная ускорять генерацию, плохо угадывает продолжение. В опубликованном 23 октября разборе Modal команда показывает, как эти проблемы решали для Sakana Namazu — модели примерно на триллион параметров, ориентированной на японские бизнес-задачи, веб-поиск и выполнение кода.
Главный результат первого этапа: по данным Modal, задержка генерации одного токена снизилась примерно на 35%. Реплика смогла обслуживать примерно на 40% больше трафика до того, как начинали расти очереди. За этими цифрами стоят несколько отдельных изменений, и для разработчика здесь полезнее последовательность решений, чем обещание такого же ускорения.
Сжимать веса с оглядкой на реальные задачи
Namazu использует архитектуру Mixture-of-Experts: внутри модели есть множество специализированных блоков, а маршрутизатор выбирает, какие задействовать. Основной объём параметров приходится на эти блоки. Именно выбираемых экспертов инженеры перевели в NVFP4 — формат низкой точности для GPU NVIDIA Blackwell. Механизм внимания, маршрутизатор и общие эксперты сохранили в BF16.
Зачем такая избирательность? Сжатие освобождает память, но проверка на привычных английских тестах может пропустить ухудшение японских ответов. Поэтому параметры сжатия настраивали на диалогах, похожих на рабочие задачи Namazu, с большой долей японского языка. По сообщению команды, качество выполнения японских инструкций осталось в пределах погрешности используемых тестов относительно производственной версии модели.
Представьте помощника, который составляет деловые письма японским клиентам. После сжатия он может по-прежнему хорошо решать английские задачи, но хуже выдерживать нужную форму обращения. Практический вывод: в проверочную выборку должны входить язык, стиль и сценарии вашего продукта. Одного общего рейтинга недостаточно.
Модель-черновик должна знать ваш трафик
Второй приём — speculative decoding. Маленькая модель предлагает несколько следующих токенов, большая проверяет их за один проход. Чем больше предложений она принимает, тем реже приходится запускать очередной шаг генерации.
Обычный помощник плохо предсказывал японский деловой стиль Namazu: доля принятых токенов была ниже 40%. Команда обучила собственную модель DFlash на характерных для Namazu данных. Существенная деталь: сохраняли исходные идентификаторы токенов. Превращение ответа в текст и последующая токенизация могут изменить границы токенов внутри вызовов инструментов и JSON, хотя видимая строка останется прежней.
После запуска API появился материал для следующего улучшения. Нового помощника на архитектуре DFlash2 обучили примерно на миллионе реальных запросов. В сравнении двух одинаковых конфигураций сервинга использовали тысячу отложенных запросов с пользовательскими настройками генерации. Среднее число принятых токенов за шаг выросло с 3,51 до 5,01 — на 43%. Задержка p99 снизилась с 68 до 52 секунд. Это показатель медленных ответов: примерно 99% запросов укладываются в указанное время.
Очередь тоже входит во время ответа
Инженеры также убрали ожидание между CPU и GPU в цикле проверки черновиков, подключили более быстрые вычислительные ядра и стали повторно использовать подготовительные операции. При работе на четырёх GPU пришлось обеспечить единое решение о принятии токенов: редкое расхождение между устройствами вызывало зависания.
Отдельно изменили распределение запросов между репликами. Маршрутизатор учитывает, где уже сохранены вычисления для начала промпта, и одновременно следит за нагрузкой. Это сократило очереди и всплески ожидания первого токена, хотя сама скорость последующей генерации не изменилась.
Ограничения у кейса существенные: результаты публикует поставщик инфраструктуры, независимой проверки в материале нет, стоимость запроса не раскрыта. Проценты разных оптимизаций нельзя складывать, а тысяча запросов не описывает любую будущую нагрузку. Для собственного API разумный первый шаг — отдельно измерить ожидание первого токена, скорость генерации и очереди, затем сравнивать изменения на одинаковых запросах. Так станет понятно, нужен ли вам новый помощник, настройка сжатия или исправление распределения нагрузки.
- 7 июл. 2026 г.Sakana AI запустила переводчик Sakana Translate для японского, английского и китайского
- 12 нояб. 2026 г.NVIDIA Vera вдвое ускорила Modal Sandboxes: на 150 контейнерах — до 4 281 задачи в минуту
- 19 июл. 2026 г.Sakana AI выпустила Sakana Marlin — агента для отчётов на 100 страниц со слайдами
- 7 февр. 2026 г.PaperBanana: Google научила нейросети рисовать графики, за которые не стыдно перед рецензентами
Вопросы и ответы по материалу
Что известно по теме: сжимать веса с оглядкой на реальные задачи?
Namazu использует архитектуру Mixture-of-Experts: внутри модели есть множество специализированных блоков, а маршрутизатор выбирает, какие задействовать. Основной объём параметров приходится на эти блоки. Именно выбираемых экспертов инженеры перевели в NVFP4 — формат низкой точности для GPU NVIDIA Blackwell. Механизм внимания, маршрутизатор и общие эксперты сохранили в BF16. Зачем такая избирательность?
Что известно по теме: модель-черновик должна знать ваш трафик?
Второй приём — speculative decoding. Маленькая модель предлагает несколько следующих токенов, большая проверяет их за один проход. Чем больше предложений она принимает, тем реже приходится запускать очередной шаг генерации. Обычный помощник плохо предсказывал японский деловой стиль Namazu: доля принятых токенов была ниже 40%. Команда обучила собственную модель DFlash на характерных для Namazu данных. Существенная деталь: сохраняли исходные идентификаторы токенов.
Что известно по теме: очередь тоже входит во время ответа?
Инженеры также убрали ожидание между CPU и GPU в цикле проверки черновиков, подключили более быстрые вычислительные ядра и стали повторно использовать подготовительные операции. При работе на четырёх GPU пришлось обеспечить единое решение о принятии токенов: редкое расхождение между устройствами вызывало зависания. Отдельно изменили распределение запросов между репликами. Маршрутизатор учитывает, где уже сохранены вычисления для начала промпта, и одновременно следит за нагрузкой.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.