Adventists AI представила голосовую Sophon с заявленным откликом за 0,31 секунды

Вы звоните голосовому помощнику, начинаете уточнять адрес, а он продолжает читать предыдущий ответ. Для пользователя это несколько раздражающих секунд. Для команды продукта — повод проверить, умеет ли система слушать во время собственной речи. Adventists AI представила открытую Sophon-Realtime-v1 именно с таким режимом: помощника можно перебить и продолжить разговор. У быстрой версии Flash авторы заявляют первый звук через 0,31 секунды.

Практический интерес здесь есть у команд поддержки, разработчиков голосовых интерфейсов и основателей сервисов с телефонными ботами. Но выбирать модель по одной цифре задержки рано: сначала нужно понять, что происходит при паузах, уточнениях и ошибках.

Как помощник решает, когда говорить

Sophon поддерживает full-duplex: слушает и говорит одновременно. В основе семейства — модель на 32 млрд параметров. По описанию разработчиков, она различает завершённую реплику, продолжение речи, короткую реакцию собеседника и паузу на размышление. Черновик ответа готовится заранее; если человек продолжает говорить, система его отбрасывает.

Представим заказ доставки. Клиент говорит: «Привезите завтра… хм, лучше послезавтра». Для проверки такого помощника важно, чтобы он дождался исправления и подтвердил нужный день. Если бот уже начал отвечать, а клиент добавил «после шести», разговор должен учитывать и это уточнение. Это пример сценария для испытаний, а не подтверждённый результат работы Sophon.

Авторы также заявляют распознавание интонации, смеха, вздохов и сарказма с помощью DuplexJev. Для продукта это повод отдельно проверить неоднозначные фразы. «Ну прекрасно» может означать довольного клиента или раздражение. Однако способность определить тон сама по себе ещё не доказывает, что помощник правильно выберет следующее действие.

Три версии с разными компромиссами

Вариант Tag делает упор на выразительность: модель размечает ответ, а отдельный речевой модуль воспроизводит смех, вздохи и ударения. Flash использует более быстрый синтез. Третья версия, E2E, опубликована как предварительная и предназначена для экспериментов с генерацией речи внутри общей архитектуры.

В исходном материале для Tag указаны примерно 0,6 секунды до первого звука и 16 одновременных пользователей, для Flash — 0,31 секунды и 40 пользователей. Существенное уточнение из репозитория проекта: задержку и нагрузку авторы измеряли на H100 с 80 ГБ памяти. Эти показатели нельзя автоматически переносить на любую видеокарту с таким объёмом памяти.

Выбирать между версиями стоит по задаче. Для персонажа или разговорного тренажёра выразительность может оказаться полезной. Для короткого звонка с уточнением статуса заказа важнее проверить скорость, разборчивость и корректность действий. Смех помощника не компенсирует ошибку в адресе.

Что проверить до подключения к продукту

Начать стоит с небольшого набора собственных разговоров: человек перебивает бота, долго думает, меняет решение, говорит на фоне шума. Отдельно нужны проверки языка и акцентов вашей аудитории. По приведённым результатам нельзя сделать вывод о качестве русской речи.

Измеряйте время от конца реплики до первого звука, скорость остановки при перебивании и долю разговоров, где бот верно сохранил уточнение. Проверяйте это под ожидаемой нагрузкой. Быстрый первый звук мало помогает, если ответ затем зависает или система теряет контекст после вмешательства пользователя.

Для сценариев с действиями нужен ещё один набор проверок: правильно ли помощник вызывает инструменты и подтверждает результат. Указанные в материале 48% Pass@1 в тесте вызова инструментов не дают основания поручать ему операции без проверки. Сначала разумно испытать чтение статуса и подготовку действия, затем оценивать более сложные сценарии.

Sophon заслуживает внимания как кандидат для прототипа голосового сервиса. Решение о внедрении должно опираться на ваши записи разговоров, стоимость обслуживания и число успешно решённых задач. Опубликованные авторами сравнения помогают составить программу испытаний; готовность к работе с клиентами придётся проверить самостоятельно.