SpecTr-GBV на EMNLP 2026 объединяет мульти-драфт и блочную верификацию для ускорения LLM

Большая языковая модель генерирует текст по одному токену, и каждый шаг требует полного прохода по сети. Чем крупнее модель, тем дороже шаг и тем заметнее задержка. Работа SpecTr-GBV, принятая на EMNLP 2026 и описанная изданием Jiqizhixin, пытается сократить эти потери в speculative decoding. Метод объединяет в одной схеме два подхода: несколько черновиков и блочную проверку.

Зачем нужен speculative decoding

Схема выглядит так. Лёгкая draft-модель быстро предлагает несколько токенов вперёд. Целевая большая модель проверяет их за один параллельный проход и принимает сколько-то токенов подряд. Если черновик угадал хорошо, за один дорогой шаг получается несколько токенов вместо одного. Ключевое условие для таких методов: выходное распределение должно совпадать с распределением целевой модели. Ускорение достигается без потери качества, за счёт более эффективного использования вычислений.

Узкое место здесь в доле принятых токенов. Если черновая модель часто ошибается, выигрыш съедается накладными расходами.

Две линии, которые теперь сводят вместе

Первая линия — multi-draft. Вместо одной цепочки токенов draft-модель выдаёт несколько кандидатов, и вероятность того, что хотя бы один будет принят, растёт. Базовая работа здесь — SpecTr (Sun et al., NeurIPS 2023): она формулирует выбор среди нескольких черновиков через задачу оптимального транспорта.

Вторая линия — блочная верификация (block verification). Обычная проверка идёт токен за токеном. Блочная оценивает продолжение целиком и по заявлению авторов исходной работы не хуже поэлементной схемы по ожидаемому числу принятых токенов.

Что известно из анонса

• Конференция: EMNLP 2026. - Источник: Jiqizhixin (机器之心), публикация от 15 октября 2026 года. - Задача: снижение задержки авторегрессионного инференса LLM. - Подход: объединение multi-draft и блочной верификации в одной схеме.

Практический взгляд

Пока вышла только аннотация, и от неё лучше не требовать большего. Для инженеров, которые разворачивают инференс, важно найти в полной статье несколько вещей.

Первое — средняя длина принятого блока и реальное ускорение по времени, а не по числу токенов. Второе — цена нескольких черновиков: каждый дополнительный кандидат это дополнительные вычисления draft-модели и память под KV-кэш. Третье — режим нагрузки. Подобные схемы обычно полезнее при малых батчах, где инференс упирается в задержку, а не в пропускную способность. При больших батчах запас вычислений на проверку лишних кандидатов быстро исчезает.

Если авторы покажут совместимость с распространёнными стеками вроде vLLM или SGLang, метод станет интересен для продакшена. Если нет, он останется академическим результатом, пока кто-то не реализует его отдельно. Полный текст и бенчмарки решат, к какому случаю относится SpecTr-GBV.