NVIDIA представила ReplaySSM: как ускорить декодинг гибридных моделей Mamba и GDN

NVIDIA опубликовала в Developer Blog материал про ReplaySSM: попытку пересмотреть, как инференс-стек хранит состояние SSM-слоёв при декодинге гибридных моделей. Масштаб темы очевиден по списку архитектур. Nemotron 3, Qwen3.5 вплоть до Qwen3.8, Kimi-K3 и GLM-5.3-Flash построены по одной схеме: несколько слоёв внимания перемежаются слоями state-space model. Доступный нам фрагмент статьи обрывается на вводной части, поэтому конкретных цифр ускорения здесь нет, и мы не будем их придумывать.

Почему гибриды стали нормой

В роли SSM-слоя в этих моделях выступают три варианта: Mamba-2, Gated DeltaNet (GDN) и Kimi Delta Attention (KDA). Идея у всех общая. Классический слой внимания хранит KV-кэш, который растёт с каждым новым токеном контекста. SSM-слой вместо этого держит состояние фиксированного размера и обновляет его на каждом шаге. Память на длинном контексте не раздувается, а декодирование токена стоит примерно одинаково, будь то тысяча токенов в истории или сотни тысяч.

Небольшое число слоёв внимания остаётся, чтобы сохранить точность на задачах, где нужен точный поиск по контексту. Получается компромисс: большая часть сети дешёвая при декодинге, меньшая часть дорогая, но незаменимая.

Где возникает проблема с состоянием

У фиксированного состояния есть оборотная сторона. KV-кэш можно усечь: если спекулятивное декодирование отвергло три токена из пяти, достаточно отбросить три последние записи. Состояние SSM устроено иначе. Это свёртка всей истории в один тензор, и после обновления отдельный токен из него не вычесть. Откат требует либо хранить копии состояния для каждого шага, либо уметь восстанавливать его.

Отсюда вопросы, которые инженеры инференса решают при спекулятивном декодировании, кэшировании префиксов и непрерывном батчинге. Сколько снимков состояния держать в памяти. Как часто их делать. Сколько трафика между HBM и вычислительными блоками это стоит. Название ReplaySSM, судя по всему, указывает на подход «воспроизвести вместо хранить»: не сохранять промежуточные состояния, а пересчитывать их по необходимости. Это наша интерпретация названия, а не подтверждённая деталь из текста NVIDIA.

Что известно из анонса

• Класс моделей: гибриды, где SSM-слои чередуются с малым числом слоёв внимания. - Затронутые семейства: NVIDIA Nemotron 3, Qwen3.5–Qwen3.8, Kimi-K3, GLM-5.3-Flash. - Типы SSM-слоёв: Mamba-2, Gated DeltaNet, Kimi Delta Attention. - Главное свойство SSM: состояние фиксированного размера вместо растущего KV-кэша. - Заявленная тема: переосмысление хранения состояния ради более быстрого декодирования.

Что проверить инженерам инференс-стека

Сам факт публикации на официальном блоге NVIDIA важен: гибриды из экзотики превратились в основной предмет оптимизации, а их специфические узкие места получают отдельные решения. Если вы разворачиваете Qwen3.5+ или Nemotron 3 в продакшене, стоит перечитать полную статью и ответить на несколько вопросов.

Первый: как ваш движок обрабатывает откат состояния при спекулятивном декодировании, и сколько памяти уходит на снимки. Второй: работает ли у вас кэширование префиксов для SSM-слоёв или только для слоёв внимания. Третий: на каких размерах батча и длинах контекста авторы измеряют выигрыш, потому что для гибридов результат сильно зависит от этих параметров.

Пока полный текст с замерами не разобран, воспринимать ReplaySSM стоит как сигнал о направлении работ, а не как готовую цифру для планирования мощностей.