Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
ИнфраструктураКод / SDK · В работуTG: @ai_machinelearning_big_data (Machinelearning)→ оригинал

Zyphra запустила синтез речи в браузере с задержкой менее 570 мс на Pixel 9

Голосовой помощник может озвучивать ответы прямо на телефоне: Zyphra выпустила ZONOS3-Mini с запуском через WebGPU в браузере. Компания заявляет менее 570 мс до первого звука на Pixel 9 и менее 150 мс на MacBook Air M3. Модель клонирует голос по записи и позволяет менять подачу отдельных слов. Для команды продукта это повод проверить локальную озвучку на своих устройствах.

AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
Zyphra запустила синтез речи в браузере с задержкой менее 570 мс на Pixel 9
Источник: TG: @ai_machinelearning_big_data (Machinelearning). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @ai_machinelearning_big_data (Machinelearning) ↗
Главный редактор
Ключевой факт #1Веса доступны по Apache 2.0; предусмотрены браузерный и серверные варианты.
Ключевой факт #2В актуальной карточке указаны 43 языка, включая русский: исходный пост устарел.
Ключевой факт #3Задержку измеряла сама Zyphra; загрузку модели нужно проверять отдельно.

Когда голосовой помощник уже придумал ответ, но ещё молчит, пользователь замечает каждую паузу. Один из способов сократить ожидание — синтезировать речь на самом устройстве. Zyphra выпустила ZONOS3-Mini: по замерам компании, в браузере на Pixel 9 первый звук появляется менее чем через 570 мс, на MacBook Air с M3 — менее чем через 150 мс. Например, учебное приложение может озвучивать подсказки прямо на телефоне. Разработчику есть смысл проверить, выдерживает ли такой вариант требования его интерфейса. Анонс Zyphra.

Сразу поправка к исходному Telegram-посту: утверждение «девять языков, русского нет» расходится с актуальной документацией. В карточке модели перечислены 43 языка, включая русский. При этом наличие языка в списке ещё не отвечает на вопрос, насколько хорошо модель произносит фамилии, сокращения и числа в вашем продукте. Карточка модели.

Как это пригодится в продукте

Представим приложение для изучения английского. Пользователь отвечает на вопрос, получает исправление и слышит пример произношения. Если озвучка работает локально, у команды появляется возможность убрать из этого этапа обращение к внешнему сервису. Насколько это ускорит весь диалог, зависит и от остальных частей системы: распознавания речи, генерации ответа и подготовки текста.

ZONOS3-Mini умеет клонировать голос по образцу и менять его характеристики: возрастное звучание, акцент, тембр. Можно управлять эмоцией, темпом и подачей отдельных слов. В игре это позволяет пробовать разные интонации персонажа на одной реплике; в обучении — выделять голосом слово, на котором ученик ошибся. Это заявленные возможности, качество которых нужно оценивать прослушиванием. Описание возможностей.

Практический тест здесь довольно простой: взять реальные тексты интерфейса и сравнить несколько вариантов озвучки вслепую. Попросить коллег оценить разборчивость, естественность пауз и уместность интонации. Особенно полезны неудобные примеры: длинное название тарифа, сумма с валютой, адрес или фраза с английским термином внутри русского предложения.

Что стоит за словом Mini

В модели 800 млн параметров, но при обработке очередного шага задействуется около 100 млн. Она использует архитектуру MoE: вычисления распределяются между специализированными блоками. Это помогает сократить объём работы при генерации, однако загружать и хранить модель всё равно необходимо. Число активных параметров само по себе не говорит, сколько памяти займёт приложение. Техническое описание.

Для интеграции есть несколько путей. Репозиторий содержит браузерный вариант через WebGPU, сервер для NVIDIA, вариант на MLX для Apple Silicon и реализацию на C++/ggml. Серверы используют общий HTTP API; предусмотрена потоковая выдача звука. Команда может начать с браузерного прототипа, а затем сравнить его с локальным сервером на целевом оборудовании. Код и инструкции.

Браузерный запуск требует первоначального скачивания модели, после которого файлы сохраняются в кеше. Поэтому для продукта нужны два отдельных замера: первый визит нового пользователя и повторное открытие приложения. Быстрая генерация после загрузки не гарантирует столь же быстрый первый запуск. Инструкция для браузера.

Какие проверки нужны перед внедрением

Опубликованные задержки — результаты самой Zyphra на конкретных устройствах. Их стоит воспринимать как ориентир для собственного теста. Проверьте время до первого звука, непрерывность воспроизведения длинной реплики, расход памяти и поведение телефона после нескольких минут работы. Отдельно посмотрите, что происходит при переключении вкладок и параллельной нагрузке.

Для русского сценария особенно важна подготовка текста. Документация перечисляет девять языков со специальной нормализацией; остальные передаются модели как написаны. Русский в эту девятку не входит. Значит, преобразование дат, денежных сумм и сокращений стоит включить в проверку интеграции. Описание обработки текста.

Веса выпущены под Apache 2.0. Это делает модель интересным кандидатом для собственного голосового интерфейса, но решение о внедрении лучше принимать после небольшого прототипа: реальные реплики, целевые устройства и измеримая граница допустимой задержки. Главный продуктовый вопрос — получает ли пользователь понятный голосовой ответ достаточно быстро и стабильно. Лицензия весов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это пригодится в продукте?

Представим приложение для изучения английского. Пользователь отвечает на вопрос, получает исправление и слышит пример произношения. Если озвучка работает локально, у команды появляется возможность убрать из этого этапа обращение к внешнему сервису. Насколько это ускорит весь диалог, зависит и от остальных частей системы: распознавания речи, генерации ответа и подготовки текста. ZONOS3-Mini умеет клонировать голос по образцу и менять его характеристики: возрастное звучание, акцент, тембр.

Что известно по теме: что стоит за словом Mini?

В модели 800 млн параметров, но при обработке очередного шага задействуется около 100 млн. Она использует архитектуру MoE: вычисления распределяются между специализированными блоками. Это помогает сократить объём работы при генерации, однако загружать и хранить модель всё равно необходимо. Число активных параметров само по себе не говорит, сколько памяти займёт приложение. Техническое описание. Для интеграции есть несколько путей.

Что известно по теме: какие проверки нужны перед внедрением?

Опубликованные задержки — результаты самой Zyphra на конкретных устройствах. Их стоит воспринимать как ориентир для собственного теста. Проверьте время до первого звука, непрерывность воспроизведения длинной реплики, расход памяти и поведение телефона после нескольких минут работы. Отдельно посмотрите, что происходит при переключении вкладок и параллельной нагрузке. Для русского сценария особенно важна подготовка текста.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…