Логиты

Логиты (logits) — термин, пришедший из логистической регрессии, где он обозначал логарифм отношения шансов. В нейронных языковых моделях логиты — вектор вещественных чисел размерности |V| (размер словаря), который вычисляется на последнем слое для каждой позиции последовательности. Каждый элемент вектора соответствует одному токену и отражает «сырую уверенность» модели в том, что именно этот токен является следующим.

В архитектуре трансформера логиты вычисляются умножением скрытого состояния последнего токена на матрицу языковой головы (language head, lm_head) — линейного слоя размером d_model × |V|. Эта матрица нередко разделяется с матрицей входных эмбеддингов (weight tying). Преобразование логитов в вероятности выполняется softmax: p_i = exp(z_i) / Σ_j exp(z_j). Логиты могут быть как положительными, так и отрицательными; абсолютные значения не несут прямого смысла — значимы только разности между ними.

Доступ к логитам открывает широкие возможности управления генерацией. До применения softmax к ним можно применять: температуру (деление на T), logit bias (прибавление константы к конкретным токенам для усиления или подавления), repetition penalty (штраф за уже встречавшиеся токены), запрет токенов (обнуление через −∞). Прямая работа с логитами также используется в beam search, в дистилляции знаний (knowledge distillation) и в методах интерпретируемости.

В open-source фреймворках — Hugging Face Transformers, vLLM, llama.cpp — логиты полностью доступны на каждом шаге декодирования. Крупные API-провайдеры предоставляют их выборочно: OpenAI поддерживает параметр logprobs для GPT-4 и более новых моделей, Anthropic предоставляет ограниченный доступ через специальные эндпоинты. Логиты активно применяются в задачах классификации, оценки неопределённости модели и управляемой генерации.

Пример

“Система модерации анализирует логиты языковой модели для набора токенов, соответствующих нежелательному контенту: если максимальный логит из этого набора превышает пороговое значение, запрос блокируется ещё до финального сэмплирования, что работает значительно быстрее постфактум-проверки готового текста.