Как новая нейросеть NVIDIA экономит память: Gated DeltaNet-2
NVIDIA представила Gated DeltaNet-2 — новый механизм линейного внимания для больших языковых моделей. Основное отличие: вместо одного скалярного затвора, новая архитектура использует отдельные каналы для управления стиранием старых данных и записью новых. Модель обучена на 100B токенов с 1.3B параметров и обгоняет конкурентов в языковом моделировании и работе с длинным контекстом.
AI-обработка оригинала MarkTechPost; редакция Hamidun News
NVIDIA создала новую нейросеть Gated DeltaNet-2 с механизмом линейного внимания, которая экономит память за счет раздельного управления стиранием старых данных и записью новых вместо единого скалярного затвора в предыдущих поколениях.
Что такое линейное внимание в нейросетях?
Линейное внимание — механизм, который сжимает неограниченный KV-кеш в фиксированное рекуррентное состояние. Это позволяет эффективнее работать с длинными текстами и значительно снижает потребление памяти.
Зачем нейросетям оптимизация памяти?
Линейные механизмы внимания сжимают неограниченный KV-кеш в фиксированное рекуррентное состояние, позволяя эффективнее работать с длинными текстами и снижая потребление памяти.
Чем Gated DeltaNet-2 отличается от старых нейросетей?
Главное отличие — раздельное управление стиранием старых данных и записью новых вместо единого скалярного затвора, используемого в предыдущих поколениях.
- 22 окт. 2026 г.KronLSTM от NX-AI меняет дельта-правило и стабилизирует память без нормализации
- 12 окт. 2026 г.NVIDIA представила ReplaySSM: как ускорить декодинг гибридных моделей Mamba и GDN
- 19 окт. 2026 г.MemT-1.0 встраивает память в саму модель: хранилище меньше в 66 раз при 128K
- 29 окт. 2026 г.Qwen 3.5 4B получила внутри весов процессор RISC-V с памятью на DeltaNet
Вопросы и ответы по материалу
Что такое линейное внимание в нейросетях?
Линейное внимание — механизм, который сжимает неограниченный KV-кеш в фиксированное рекуррентное состояние. Это позволяет эффективнее работать с длинными текстами и значительно снижает потребление памяти.
Зачем нейросетям оптимизация памяти?
Линейные механизмы внимания сжимают неограниченный KV-кеш в фиксированное рекуррентное состояние, позволяя эффективнее работать с длинными текстами и снижая потребление памяти.
Чем Gated DeltaNet-2 отличается от старых нейросетей?
Главное отличие — раздельное управление стиранием старых данных и записью новых вместо единого скалярного затвора, используемого в предыдущих поколениях.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.