Алиса AI сама выбирает модель под запрос: 80% трафика берёт Alice AI LLM

Знакомая боль любого, кто строил продукт на LLM: одна большая модель на все запросы — дорого и медленно, одна маленькая — быстро, но глупеет на сложном. Яндекс в Алисе AI выбрал третий путь: ассистент сам смотрит на запрос и решает, кому его отдать.

Как это устроено

Логика простая. Для повседневных задач — «какая погода», «перепиши сообщение», «что приготовить» — Алиса AI берёт модели, которые быстро готовят ответ. Если в запросе много условий, нужно изучить несколько документов, посчитать или составить пошаговый план, подключается режим «Эксперт». Его можно включить руками, но по умолчанию решение принимает сама система.

Представьте запрос: «Сравни два договора аренды, учти мой бюджет и сроки и составь план переезда». Это уже не болтовня: нужно удержать в голове несколько источников, ограничения и порядок шагов. Такому запросу выделят больше ресурсов, и пользователь готов подождать чуть дольше. А вопрос про рецепт блинов не должен ждать столько же.

Цифра из анонса: около 80% запросов сегодня обрабатывает Alice AI LLM — собственная модель Яндекса. Основной поток идёт по этому пути, а «Эксперт» подключается там, где простого ответа мало.

Какие модели внутри

Состав «Эксперта» не зафиксирован. Яндекс заявляет, что каждый день тестирует разные модели и планирует регулярно обновлять набор. Там могут быть как модели семейства Alice AI, так и общедоступные модели с открытыми весами, которые работают на серверах Яндекса. Для пользователя это означает, что привязки к одной модели нет: если появится открытая модель, лучше справляющаяся с расчётами или длинными документами, её можно подключить без смены самого продукта.

Для разработчиков это показательный сдвиг. Продукт — уже не «наша модель», а маршрутизатор плюс пул моделей плюс контроль качества. Модель становится заменяемой деталью.

Модель — ещё не весь продукт

Авторы анонса отдельно подчёркивают: качество ответа определяет не только модель, но и харнесс. Под этим словом обычно понимают всё, что окружает модель: системные инструкции, доступ к инструментам и поиску, работу с документами, проверки и повторные попытки. Одна и та же модель в разной обвязке может отвечать заметно по-разному. Яндекс говорит, что влияние харнесса измеряют бенчмарками. Подробности методики и результаты — в полной статье на Хабре. В анонсе их нет, поэтому конкретных цифр прироста приводить не будем.

Ограничения и что делать

Есть вещи, которые из анонса не видны. Неясно, как именно классифицируется запрос: отдельной моделью, эвристиками или как-то иначе. Нет данных о том, как часто роутер ошибается: отправляет сложную задачу в быструю модель или тратит ресурсы «Эксперта» на простой вопрос. Нет и метрик качества в сравнении с единой сильной моделью. Любой роутинг добавляет шаг в цепочку, а значит задержку и ещё одну точку отказа.

Практический вывод для команд, которые строят свои LLM-продукты:

• Не гоняйте весь трафик через самую дорогую модель. Разметьте свои запросы по сложности и посмотрите, какая доля реально нуждается в сильной модели. У Яндекса около 80% запросов обрабатывает Alice AI LLM, у вас цифры могут быть другими.
• Дайте пользователю ручной переключатель, как «Эксперт» в Алисе. Он снижает цену ошибки роутера.
• Меряйте обвязку отдельно от модели. Прежде чем менять модель, прогоните бенчмарк на разных промптах, наборах инструментов и проверках.
• Держите архитектуру модульной, чтобы заменять модели без переписывания продукта.

Гонка идёт уже не за одной самой большой моделью, а за тем, кто лучше соберёт систему вокруг нескольких. Алиса AI — свежий массовый пример такого подхода.