Квантизация

Квантизация нейронных сетей — техника сжатия модели путём замены высокоточных весов (float32, bfloat16) на числа с меньшей битностью (int8, int4), что пропорционально уменьшает объём памяти и ускоряет инференс при незначительной потере качества.

Квантизация нейронных сетей — техника уменьшения числовой точности весов (и опционально активаций) модели: вместо 32-битных (float32) или 16-битных (bfloat16) чисел используются 8-битные (int8) или 4-битные (int4) целые числа. Это пропорционально сокращает объём памяти для хранения модели и ускоряет матричные вычисления на совместимом оборудовании.

Существуют два основных подхода. Post-training quantization (PTQ) квантизует уже обученную модель без повторного обучения — быстро, но с определённой потерей качества. Quantization-aware training (QAT) симулирует квантизацию в процессе обучения, позволяя модели компенсировать потери точности ценой полного цикла дообучения. Для LLM разработаны специализированные PTQ-алгоритмы GPTQ (2022) и AWQ (2023), которые дают 4-битные модели с деградацией качества менее 1–2% на большинстве бенчмарков.

Практическое значение квантизации для локального запуска и edge deployment очень велико. Модель LLaMA 3 70B в формате bfloat16 занимает около 140 ГБ памяти и требует нескольких серверных GPU; в 4-битном формате Q4_K_M через llama.cpp — около 40 ГБ, что позволяет запускать её на потребительской рабочей станции. Именно квантизация сделала возможным движение локальных LLM и экосистему инструментов llama.cpp, Ollama и LM Studio.

К 2026 году 4–8-битная квантизация стала стандартным форматом распространения открытых моделей. Ведутся исследования 2–3-битных схем и смешанной точности (mixed-precision), при которой чувствительные слои сохраняются в fp16, а остальные квантизуются агрессивнее. Коммерческие провайдеры также применяют квантизацию на серверной стороне для снижения стоимости инференса, хотя детали реализации, как правило, не раскрываются.