Контекстное окно

Контекстное окно — максимальный объём токенов, который языковая модель учитывает при генерации ответа. В 2026 году размер варьируется от 8 000 токенов у компактных моделей до 1 000 000 у флагманских (Gemini 1.5 Ultra), что определяет длину документов и историю диалога, доступную модели.

Контекстное окно — максимальный объём токенов, который трансформерная модель учитывает при генерации очередного токена. Всё, что выходит за этот предел, модель не видит: текст либо усекается, либо обрабатывается специальными архитектурными надстройками вроде скользящего окна (sliding window attention).

Ограничение обусловлено механизмом внимания (attention): при вычислении каждого нового токена модель строит взвешенные отношения со всеми предыдущими токенами в контексте, что требует памяти и вычислений, растущих квадратично с длиной последовательности. GPT-3 (2020) имел контекст 2 048 токенов; GPT-4 Turbo и Claude 3 в 2024 году достигли 128 000 токенов; Gemini 1.5 Pro — 1 миллиона токенов. В 2026 году контекст в несколько сотен тысяч токенов стал нормой для флагманских моделей.

Размер контекстного окна критичен для анализа длинных документов, многоходового диалога, суммаризации книг и агентных цепочек с большой историей. Однако большой контекст не гарантирует равномерного качества использования всей информации: исследования фиксируют эффект «потери в середине» (lost in the middle) — модели хуже воспроизводят факты из центральных частей длинного контекста по сравнению с его началом и концом.

В 2025–2026 годах расширение контекста остаётся активной областью разработки. Для преодоления квадратичной сложности применяются sliding window attention, линейные аппроксимации (архитектуры Mamba, RWKV), а также техники позиционного кодирования (RoPE scaling, YaRN), позволяющие расширять контекст без полного повторного обучения.