Mistral представила линейку Voxtral 3: распознавание 50 языков и голосовые агенты для enterprise

Французская Mistral AI выпустила семейство моделей Voxtral 3, предназначенное для построения комплексных голосовых агентов в корпоративном секторе. Релиз объединяет технологии автоматического распознавания речи (STT), синтеза речи (TTS) и специализированный Voice Agent SDK. Главный акцент сделан на снижении задержки до уровня менее 500 мс и возможности развертывания всей инфраструктуры локально либо через дата-центры в Евросоюзе, что позволяет компаниям соблюдать суверенные требования к защите данных без отправки сырого аудио сторонним американским провайдерам.

Архитектура распознавания и бенчмарки

Модель Voxtral Small Transcribe 3 поддерживает 50 языков, включая 24 официальных языка ЕС, а также редкие азиатские и индийские наречия. Архитектура объединяет функции диxml-иаризации (определение спикера) и механизм context biasing, позволяющий передавать списки узкоспециализированных терминов для повышения точности без дообучения весов. На мультиязычном бенчмарке FLEURS 45 модель показала средний уровень ошибок (WER) на уровне 4,0–4,1%, обойдя Whisper large-v3 (14,9%), Gemini 3.5 Transcribe (4,5%) и Scribe v2 (4,9%).

Компактная версия Voxtral Mini Transcribe 3 с 4 млрд параметров оптимизирована под минимальную себестоимость инференса: стоимость обработки составляет $0.0035 за минуту аудио. Специально для агентов разработана модификация Voxtral Realtime Transcribe 3 с нативным детектированием конца реплики (end-of-turn prediction). Алгоритм анализирует одновременно акустические и семантические маркеры, чтобы виртуальный оператор вступал в диалог без искусственных пауз, но не перебивал человека на полуслове.

Синтез речи с учетом контекста

За генерацию голоса отвечает Voxtral Mini TTS 3.0, поддерживающий более 35 языков и 50 диалектов. Модель оценивает эмоциональный контекст входящего промпта и автоматически настраивает просодию, ритм и смысловые акценты без необходимости вручную прописывать теги выразительности. Разработчикам также доступен инструмент Pro Voice, позволяющий клонировать стиль, акцент и эмоциональный диапазон диктора на базе 30 минут эталонного аудио.

Ключевые характеристики и метрики линейки Voxtral 3:

• Точность распознавания: 4,0% WER на бенчмарке FLEURS 45 и 94,6% точности извлечения ключевых терминов с контекстным промптингом;
• Диаризация: 18,4% cpWER на смешанных корпусах AMI, Switchboard и AISHELL-4;
• Задержка потоковой обработки: менее 500 мс в режиме Voxtral Mini Realtime 3;
• Ценообразование: $0.0035 за минуту транскрипции (Mini) и $13 за 1 млн символов синтеза (TTS);
• Инфраструктура: API с хостингом в ЕС или полное развертывание on-premise для изолированных контуров.

Выпуск SDK с поддержкой function calling превращает Voxtral 3 в готовую платформу для телефонных контакт-центров, медицинских регистратур и сервисных служб. В демонстрационном сценарии агент не просто транскрибировал французское направление к дерматологу, но и параллельно вызвал внутренний API клиники, нашел свободный слот и подтвердил запись на английском языке. Прямой доступ к весам для локального запуска дает Mistral сильное преимущество в регулируемых секторах Европы, где использование облачных голосовых API от OpenAI или Google заблокировано требованиями комплаенса.