OmniXRef: унифицированный фреймворк для редактирования видео с мультимодальными ссылками

Творческое намерение редактора редко умещается в одной ссылке. OmniXRef — новый унифицированный фреймворк от Adobe Research для редактирования видео, который позволяет комбинировать произвольное количество текстовых инструкций, изображений и видеоссылок. Каждая ссылка управляет отдельным визуальным атрибутом: движением персонажей, движением камеры, стилем, спецэффектами или содержанием кадра. Все ссылки применяются к исходному видео в один проход, обеспечивая когерентный результат редактирования.

Почему видеоссылки имеют значение

Сложные визуальные детали и их изменение во времени — пластика персонажей, движение камеры, динамика визуальных эффектов — трудно описать только текстом или статичным изображением. Видеоссылка позволяет точно передать нюансы движения и визуальной трансформации, которые модель редактирования должна воспроизвести в контексте исходного видео.

Архитектура и масштабирование данных

Единая архитектура с reference-bank: каждая ссылка (текстовая, изображение или видео) использует общий интерфейс, состоящий из определения задачи редактирования, инструкции и опциональных визуальных данных. Это позволяет модели единообразно обрабатывать разнородные модальности.

OmniXRef-Model с диффузионным трансформером: модель использует диффузионный трансформер единого потока, обрабатывающий исходное видео и всю мультимодальную контекстную информацию в виде чередующейся последовательности токенов. Совместное кодирование всех ссылок в единой последовательности обеспечивает синергию между разными типами редактирования.

R²-RoPE для гибкой длины: специальный механизм позиционной кодировки (R²-RoPE) обеспечивает обобщение на произвольное количество мультимодальных ссылок, а не на фиксированное число, что упрощает практическое применение.

Масштабное обучение с curriculum learning: синтез данных производит свыше 3 млн примеров видеоредактирования для разных комбинаций ссылок и 7 млн примеров текстового редактирования, итого ~10 млн примеров обучающего датасета. Авторы применили curriculum learning — прогрессивное увеличение сложности задач и разрешения видео по мере обучения.

OmniXRef-Bench и результаты

Для систематической оценки видео как модальности контроля авторы представили OmniXRef-Bench — бенчмарк из 125 случаев редактирования по пяти ключевым категориям:

• Camera — управление движением и углом обзора камеры
• Motion — контроль пластики и движения персонажей
• Content — изменение содержания кадра (замены, добавления объектов)
• Style — трансфер визуального стиля между видео
• Visual Effects (VFX) — применение и интеграция спецэффектов

Бенчмарк измеряет три ключевых метрики: верность редактирования (насколько хорошо модель применила инструкции), сохранение исходного видео (сколько информации из исходного видео остаётся нетронуто) и визуальное качество с проверкой временной согласованности (отсутствие мерцания и артефактов при смене кадров).

Результаты: OmniXRef превосходит задача-специфичные базовые модели и коммерческие решения. Модель показывает лучшие результаты, чем Seedance 2.5 и MiniMax-H3 как по соблюдению визуальных ссылок, так и по сохранению исходного видео. Это подтверждает эффективность унифицированного подхода к многомодальному редактированию.

Проект и детали: https://oliver-cong02.github.io/OmniXRef.github.io/