Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизAPI / Продукт · В работуHabr AI→ оригинал

Fish Audio Drama 3 научила локальный TTS шептать и срываться голосом в одном абзаце

Маленькие локальные TTS-модели на 0,5–1,7B параметров читают драматический монолог так же бодро, как документацию к API: шёпот и срыв голоса они сглаживают. Автор разбора перепробовал Praat и референсы из аудиокниг, а затем запустил Fish Audio Drama 3 (35B-A3B MoE) на Mac. Модель сама вздыхает по тегу [sighs], уходит в шёпот и выстраивает нарастание в финальных вопросах.

AI-обработка оригинала Habr AI; редакция Hamidun News
Fish Audio Drama 3 научила локальный TTS шептать и срываться голосом в одном абзаце
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Три эмоциональных референса одного голоса вместо одного склеенного файла
4-bit версиядо 28,8 ГБ памяти и скорость около 1:1 к реальному времени
Ключевой факт #3Младшая S2 Pro (4B) занимает 12,45 ГБ и тоже умеет шёпот

Для ровной дикторской начитки локальных TTS-моделей сегодня хватает с запасом. Подал чистый образец голоса, расставил ударения и получил нормальную озвучку лекции или видеоинструкции. Проблемы начинаются, когда нужна актёрская игра: внутри одного абзаца голос должен пройти через иронию, ком в горле, шёпот и срыв. Модели на 0,5–1,7B параметров держат среднюю интонацию референса и читают трагедию тем же тоном, что и документацию.

Автор материала, преподаватель, собирал интерактивный курс и хотел уйти от монотонной начитки. Тестом стал монолог Гамлета с черепом Йорика: четыре предложения, в которых нужно четыре раза сменить подачу. Сначала тёплая ностальгия, затем спазм и отвращение, потом глухой шёпот, а в финале серия вопросов с нарастающим напором.

Что не сработало

Базой послужила русскоязычная дообучка Qwen3-TTS 1.7B со знаками ударения. Речь получилась чистой и разборчивой, но эмоционально плоской. На графике громкости это почти горизонтальная линия через весь текст.

Вторая попытка: нарезать монолог на фразы, генерировать каждую со своим референсом и докручивать высоту голоса в Praat через parselmouth с алгоритмом TD-PSOLA. Тут две проблемы. Во-первых, модель копирует из референса не только интонацию, но и расстояние до микрофона и акустику комнаты, поэтому на стыках слышно, что реплики записаны в разных помещениях. Во-вторых, шёпот и спазм не сводятся к высоте тона: связки перестают смыкаться, пропадает чистый основной тон, появляется шум выдоха. Если просто двигать F0, получается механическая модуляция, а не шёпот. Для мелких правок вроде ударения или интонации вопроса Praat при этом остаётся рабочим инструментом.

Третья гипотеза: взять референсами профессиональных чтецов из датасета ToneBooks. Получилась добротная аудиокнига, но не драма. Чтец бережёт связки и держит ровную подачу на многочасовой дистанции, а спазмы и сбитое дыхание он не играет.

Чем Drama 3 отличается от лёгких TTS

Fish Audio открыла веса fishaudio/drama-3 в конце октября 2026 года, а в начале ноября в mlx-audio появился 4-битный порт. Внутри 35B-параметровая MoE-модель с 256 экспертами на слой, из которых на токен активны 8 (около 3 млрд активных параметров). К ней добавлена аудио-башня с собственной памятью во времени и кодек 44,1 кГц.

Главная практическая находка касается референсов. Шаблон принимает несколько отдельных пар «текст плюс аудио»: спокойная речь, шёпот, тяжёлый выдох. Если склеить всё в один файл, обычная zero-shot модель усредняет состояния или хаотично прыгает по тону. Drama 3 привязывает каждое состояние к своей расшифровке.

Второй приём касается разметки. В ref_text теги [sighs] и <whisper>...</whisper> нужно ставить ровно там, где актёр вздыхает или шепчет на записи, а слова должны дословно совпадать с произнесённым, иначе собьётся выравнивание. Тогда тег в основном тексте вызывает именно тот вдох и шёпот, которые модель слышала у этого человека.

Результат и цена

На трёх голосовых профилях модель отыграла все переходы. На [sighs] слышен настоящий вдох с перестройкой темпа и высоты, а не просто пауза. Внутри <whisper> получается глухой шёпот с шумом воздуха. В финальных вопросах Drama 3 сама строит интонационную лесенку до срыва. При temperature=0.8 длина записи плавает от 40,5 до 44,0 с, но галлюцинаций и проглоченных слов не было.

Цена такая. Веса в смешанном квантовании занимают 22,15 GiB, а на M4 Pro с 48 ГБ пик памяти составляет 28,6–28,8 ГБ. Загрузка занимает 8,3 с, генерация идёт примерно 1:1 к реальному времени. На видеокарте с 24 ГБ VRAM такая модель упирается в потолок.

Младшая S2 Pro (4B, 8-bit, 6,73 ГБ на диске) инициализируется за 2,4 с и берёт в пике 12,45 ГБ, то есть в 2,3 раза меньше. Шёпот у неё тоже получается: на графике она, как и Drama 3, уходит на дно. Но она принимает один референсный массив и однословные теги вроде [sigh], [sad], [whisper], так что три референса приходится склеивать с паузой 0,25 с.

Для единого целевого тембра автор прогонял дорожки через RVC v2 (40 кГц). Чтобы конвертер не пытался «пропеть» шёпот связками, выставлены protect=0.35 и rms_mix_rate=0.25. Минус в том, что часть верхних частот относительно нативных 44,1 кГц срезается. Автор считает это разумным компромиссом: RVC обучается на 10–15 минутах записи, а файнтюн 35B-модели несравнимо сложнее.

Что из этого следует

Если нужна эмоциональная озвучка, а не диктор, ищите модели с мульти-референсным шаблоном и режиссёрскими тегами, а не пытайтесь чинить плоскую интонацию постобработкой. Готовьте референсы одного человека в разных состояниях и размечайте их теми же тегами, что используете в основном тексте. Если памяти меньше 30 ГБ, стоит сначала проверить S2 Pro. Ограничение материала в том, что тесты сделаны на одном монологе и на Mac, а многоголосый режим Drama 3 автор не проверял.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что не сработало?

Базой послужила русскоязычная дообучка Qwen3-TTS 1.7B со знаками ударения. Речь получилась чистой и разборчивой, но эмоционально плоской. На графике громкости это почти горизонтальная линия через весь текст. Вторая попытка: нарезать монолог на фразы, генерировать каждую со своим референсом и докручивать высоту голоса в Praat через parselmouth с алгоритмом TD-PSOLA. Тут две проблемы.

Что известно по теме: чем Drama 3 отличается от лёгких TTS?

Fish Audio открыла веса fishaudio/drama-3 в конце октября 2026 года, а в начале ноября в mlx-audio появился 4-битный порт. Внутри 35B-параметровая MoE-модель с 256 экспертами на слой, из которых на токен активны 8 (около 3 млрд активных параметров). К ней добавлена аудио-башня с собственной памятью во времени и кодек 44,1 кГц. Главная практическая находка касается референсов. Шаблон принимает несколько отдельных пар «текст плюс аудио»: спокойная речь, шёпот, тяжёлый выдох.

Что известно по теме: результат и цена?

На трёх голосовых профилях модель отыграла все переходы. На [sighs] слышен настоящий вдох с перестройкой темпа и высоты, а не просто пауза. Внутри <whisper> получается глухой шёпот с шумом воздуха. В финальных вопросах Drama 3 сама строит интонационную лесенку до срыва. При temperature=0.8 длина записи плавает от 40,5 до 44,0 с, но галлюцинаций и проглоченных слов не было. Цена такая. Веса в смешанном квантовании занимают 22,15 GiB, а на M4 Pro с 48 ГБ пик памяти составляет 28,6–28,8 ГБ.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…