DeepL Voice научился переносить сарказм и смену настроения в живой перевод

Представьте: коллега из Берлина на созвоне говорит «Ну конечно, отличный план». Интонация такая, что всё понятно без объяснений. Переводчик же выдаёт ту же фразу ровным голосом, и в Токио или Мадриде её принимают за чистую монету. Эту проблему DeepL пытается закрыть новой моделью Aure для голосового продукта DeepL Voice.

Что было не так

До сих пор DeepL Voice генерировал переведённую речь по статичному образцу голоса, который снимался в начале разговора. Голос получался похожим на говорящего, но настроение при этом «замораживалось». Человек мог начать раздражаться, смеяться или иронизировать, а синтезированная речь оставалась в той же интонации. Сарказм почти целиком живёт в интонации, а не в словах. Поэтому текстовый перевод его теряет, и голосовой перевод со статичным образцом теряет тоже.

Как работает Aure

Aure не снимает образец один раз, а постоянно анализирует два потока: переведённый текст и исходное аудио. Из оригинала берутся тон, эмоции, смысловые ударения и темп речи. Всё это переносится в речь на другом языке по ходу разговора.

Ключевая идея лежит в обучении. DeepL разделяет три компонента: идентичность голоса, мелодику речи и содержание. Каждый из них можно переносить в новый язык независимо. Проще всего думать так: тембр отвечает на вопрос «кто говорит», мелодика — «как говорит», содержание — «что говорит». Если эти слои склеены, вместе с интонацией тащится и чужая фонетика. Если разделены, можно сохранить голос и эмоцию, а слова и произношение взять из целевого языка. Чтобы на выходе не оставалось акцента исходного языка, DeepL применяет обучение с подкреплением.

Где доступно и в каком контексте

Aure включается автоматически в DeepL Voice for Online Meetings, DeepL Voice for In-Person Conversations и в DeepL API. На старте поддерживаются английский, немецкий, испанский, французский, итальянский, японский, португальский и корейский. Сохранение голоса DeepL запустил в сентябре, так что Aure выглядит как следующий шаг той же линии.

За этим стоит и стратегия компании. В мае DeepL сократил около 250 человек, перестраиваясь вокруг небольших команд на базе ИИ и называя себя «AI-native». Кроме того, DeepL купил команду Mixhalo, специалистов по аудиостримингу, чтобы усилить перевод речи в реальном времени. Конкурентное давление тоже есть: компания Block недавно показала Dessa, речевую модель, которая определяет эмоции и сарказм прямо из аудио. Индустрия явно движется от перевода слов к переводу смысла.

Что с этим делать

Если вы делаете продукт с международными звонками, поддержкой, обучением или переговорами, эмоциональная точность перевода становится частью качества. Раньше о ней можно было не думать, теперь это потенциальное отличие от конкурентов. Доступ через API позволяет встроить такой перевод в собственный сервис, не обучая модель с нуля. Разумно собрать несколько реальных записей с иронией, паузами и сменой тона и прогнать их через Aure на ваших языковых парах.

Ограничения

В анонсе нет метрик качества, данных по задержке и независимых тестов, так что пока это заявления самой компании. Неизвестно, как модель ведёт себя с шумом, перебиваниями и быстрой сменой говорящих. Восемь языков — немного, и для многих рынков этого не хватит. Ещё один вопрос — цена ошибки. Это уже моё мнение, а не данные из анонса: неверно перенесённая интонация может навредить больше, чем неверное слово, потому что человеку припишут тон, которого у него не было. Для переговоров и деликатных разговоров стоит оставить возможность перепроверки.