Mamba-3: альтернатива трансформерам с линейной сложностью

17 марта 2026 года исследовательская группа из Carnegie Mellon University, Princeton University, Cartesia AI и Together AI опубликовала работу о новой архитектуре Mamba-3 — модели пространства состояний (state space model, SSM), спроектированной в первую очередь под эффективность инференса, а не обучения, как её предшественница Mamba-2. Главный результат: вариант Mamba-3 SISO обходит Mamba-2, архитектуру Gated DeltaNet и даже трансформер Llama-3.2-1B по суммарной задержке на этапах prefill и decode на всех длинах последовательностей при масштабе модели в 1,5 миллиарда параметров.

Ключевые факты о релизе

• Дата публикации — 17 марта 2026 года
• Авторы — Aakash Lahoti и Kevin Y. Li (Carnegie Mellon University), Berlin Chen и Caitlin Wang (Princeton University), Aviv Bick и J. Zico Kolter (Carnegie Mellon University), Tri Dao (Princeton University, Together AI), Albert Gu (Carnegie Mellon University, Cartesia AI)
• Масштаб тестов — модели уровня 1,5 млрд параметров
• Ключевые архитектурные новшества — более выразительная формула рекуррентности, комплекснозначное отслеживание состояния и MIMO-вариант (multi-input, multi-output)
• Открытый код — вычислительные ядра на Triton, TileLang и CuTe DSL опубликованы в открытом доступе

Почему Mamba-2 больше не отвечает потребностям индустрии?

С момента выхода Mamba-2 в середине 2024 года большинство архитектур на основе SSM перешли с Mamba-1 именно на неё: разработчики сделали ставку на то, что главным узким местом остаётся скорость обучения, и упростили базовый механизм SSM ради 2–8-кратного ускорения тренировки по сравнению с предшественником — эта ставка сработала и обеспечила Mamba-2 широкое распространение в индустрии. Но с тех пор ландшафт больших языковых моделей заметно сместился: хотя предобучение по-прежнему важно, куда больше внимания стало уделяться постобучению и развёртыванию — обоим процессам, крайне требовательным именно к инференсу. Масштабирование методов постобучения, особенно обучения с подкреплением на верифицируемых наградах (RLVR) для задач кодинга и математики, требует генерации огромного числа роллаутов, а агентные рабочие процессы — такие как Codex, Claude Code или OpenClaw — резко подняли спрос на инференс.

Несмотря на это, многие линейные архитектуры, включая Mamba-2, изначально разрабатывались с приоритетом на обучение: чтобы ускорить предобучение, базовый механизм SSM последовательно упрощали — например, диагональный переход состояния был сведён к скаляру, умноженному на единичную матрицу, что снижало выразительность модели ради скорости тренировки.

Что меняет

Mamba-3 и зачем нужна архитектура, оптимизированная под инференс?

Mamba-3 разворачивает эту логику в обратную сторону: команда вернула в модель более выразительную формулу рекуррентности и комплекснозначное отслеживание состояния — механизмы, которые Mamba-2 упростила ради скорости обучения, — а также добавила MIMO-вариант, повышающий точность без замедления декодирования. Результат — архитектура, у которой задержка на инференсе ниже, чем у Mamba-2, Gated DeltaNet и даже классического трансформера Llama-3.2-1B, причём преимущество сохраняется на всех проверенных длинах последовательностей при масштабе 1,5 млрд параметров. Поскольку SSM-архитектуры обрабатывают последовательность с линейной, а не квадратичной, как в трансформерах, вычислительной сложностью, выигрыш Mamba-3 особенно заметен именно на длинных контекстах и при высокой нагрузке на этапе генерации — то есть ровно там, где сегодня концентрируется основной спрос индустрии на быстрый и дешёвый инференс.

Что это значит для отрасли

Открытая публикация вычислительных ядер на Triton, TileLang и CuTe DSL снижает порог входа для команд, которые хотят внедрить Mamba-3 в собственную инфраструктуру инференса, а сотрудничество между академическими лабораториями (Carnegie Mellon University, Princeton University) и индустриальными игроками (Together AI, Cartesia AI) отражает более широкий тренд: передовые архитектурные исследования всё чаще сразу сопровождаются готовой инфраструктурой для практического развёртывания, а не остаются только теоретическим результатом на бумаге. Для рынка это сигнал, что альтернативы трансформерам с линейной сложностью вычислений переходят из категории лабораторных экспериментов в категорию реальных кандидатов на роль базовой архитектуры для инференс-ориентированных продуктов следующего поколения — от агентных ассистентов до крупномасштабных сервисов постобучения.