Как запустить нейросеть дешевле: Google TurboQuant оптимизирует память
Google показала TurboQuant — метод сжатия KV-кэша, который может уменьшить память для инференса минимум в шесть раз и ускорить расчёт внимания. Это особенно важно для локального запуска LLM и длинных диалогов. Речь не о весах модели, а о её рабочей памяти во время генерации. Но рост общих затрат на AI-инфраструктуру технология вряд ли остановит.
AI-обработка оригинала ZDNet AI; редакция Hamidun News
Google Research 24 марта разработала TurboQuant — алгоритм для локальных нейросетей, который уменьшает требования к памяти во время ответа.
Что такое KV-кэш в нейросетях?
Это рабочая память, в которой языковая модель хранит промежуточные ключи и значения для уже обработанных токенов. Чем длиннее диалог или документ, тем больше памяти занимает этот кэш, и тем дороже запуск модели.
- 12 нояб. 2026 г.Google открывает предзаказ на очки с Gemini от $395 и блокирует скрытую съёмку
- 12 нояб. 2026 г.Google привезла Gemini Intelligence в Android Auto — пока только для Pixel
- 12 нояб. 2026 г.По иску, школьница три месяца говорила с Gemini о суициде, а мониторинг молчал неделями
- 12 нояб. 2026 г.Google и Adobe сближают продукты: Acrobat появится в Gmail, Drive и Gemini
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.