DuET снижает ошибку транскрипции фортепиано в партитуру с 6,56% до 3,64%

Проблема и подход

Автоматическая транскрипция фортепианных исполнений в нотную запись — комплексная задача. Исполнитель варьирует времени каждой ноты, смещает ритм, но партитура должна отразить не только правильные высоты, но и структуру такта, синхронизацию нот с сильными долями. Традиционные подходы либо фокусировались на уровне нот (высоты звучат), либо на уровне фреймов (биты и сильные доли). Исследователи Wei Zeng и Ye Wang из Национального университета Сингапура предложили принципиально иное решение: трансформер с двойным кодировщиком, обрабатывающий обе задачи одновременно через взаимную аттенцию.

Архитектура DuET

Модель строится на следующих компонентах:

Двойное кодирование и кросс-аттенция: отдельные кодировщики обрабатывают высоты нот и ритмическую сетку фреймов, соединяясь двусторонней кросс-аттенцией для обмена контекстом. Авторегрессивный декодер чередует представления нот и фреймов, последовательно предсказывая атрибуты партитуры.

Позиционные кодировки: TimeRoPE устанавливает единую временную базу производительности (performance-time reference), а Time-Pitch Rotary Positional Encoding (TPRoPE) явно кодирует относительные временные и высотные связи. Эти механизмы позволяют модели точнее обрабатывать основные источники ошибок — изменения темпа и фразировки исполнителя.

Совместное обучение: вместо отдельного решения задач транскрипции MIDI-в-партитуру (PM2S) и отслеживания битов-сильных долей (beat and downbeat tracking), модель решает их как единую задачу, где контекст одного уровня помогает другому.

Результаты на датасетах

Далось протестировать DuET на двух датасетах:

Gangqinpu — собственный датасет авторов с более чем 18 000 пар исполнение-партитура, охватывающий несколько жанров с особым фокусом на популярную фортепианную музыку. Здесь DuET снизил среднюю ошибку метрики MUSTER с 6,56% до 3,64% — улучшение на 2,92 процентных пункта.

ASAP — классический датасет академического репертуара. На нём результат чуть скромнее: ошибка снизилась с 11,30% до 11,22%. Различие объясняется сложностью классического репертуара, где интерпретационные вариации выше.

Абляционные исследования подтвердили, что улучшения достигаются за счёт контекста уровня фреймов, временных позиционных кодировок и маскирования истории декодера.

Доступные ресурсы

Авторы опубликовали всё необходимое для использования:

Интерактивная демонстрация: https://huggingface.co/spaces/Wayne42/DuET-demo позволяет попробовать модель прямо в браузере на собственных аудиозаписях.

Исходный код и веса: https://github.com/wei-zeng98/DuET содержит полную реализацию и обученные модели.

Датасет Gangqinpu: авторы планируют выпустить полный датасет с более чем 18 000 примерами для дальнейших исследований.

Работа опубликована 15 октября 2026 года и уже собрала положительный отклик в сообществе.