NVIDIA открыла Open-H3-Regenerate-2K-IC: апскейл видео до 4K без дрейфа лиц

Если вы хоть раз гоняли сгенерированное видео через апскейлер, вы знаете этот эффект. Картинка стала чётче, но у героя поплыл подбородок, губы живут отдельно от речи, а вывеска на заднем плане превратилась в кашу из псевдобукв. NVIDIA выложила в открытый доступ архитектуру и код Open-H3-Regenerate-2K-IC, которая целится именно в эту проблему.

В чём была поломка

Предыдущие подходы к такому апскейлу работали так: берут низкокачественный черновик, подмешивают к нему шум и за три шага диффузии «регенерируют» его в высоком разрешении. Проблема в том, что шум стирает часть информации. Модель больше не видит, как именно выглядело лицо, куда смотрели глаза и какие буквы были на табличке. Она достраивает детали по своему вкусу, отсюда дрейф черт лица, сбитая артикуляция и размытый текст.

Представьте реставратора, которому вместо оригинала дали фотокопию, залитую кофе. Он нарисует красиво, но не обязательно то, что было.

Что поменяли в IC-архитектуре

IC означает In-Context. Черновик не зашумляется. Он целиком, в чистом виде, попадает в контекст трансформера Ref2VA, а высокодетализированное видео генерируется из шума рядом с ним. На каждом шаге диффузии модель через механизм внимания обращается напрямую к неповреждённым токенам черновика.

Вернёмся к реставратору: теперь оригинал лежит на столе, и он сверяется с ним на каждом мазке. Что именно красить, модель решает сама, но что там было изначально, она видит без искажений.

По данным из анонса, схема работает с роликами длительностью от 5 до 15 секунд. На входе черновики 384P и 768P, на выходе 2K и 4K. Диффузия идёт в 3 шага на полном разрешении, а декодирование VAE, по заявлению авторов, в 5 раз быстрее, чем у закрытого API MiniMax. Важный нюанс: число шагов (три) осталось тем же, что и раньше. Выигрыш не в скорости как таковой, а в том, что те же три шага теперь опираются на нетронутый источник.

Что с этим делать на практике

Главное: у проприетарного апскейла MiniMax появилась открытая альтернатива. Код лежит в репозитории NVlabs/Sana, реализация построена на весах H3 и открытом фреймворке SoL-Refiner. Если ваш продукт сейчас платит за закрытое API апскейла, стоит прогнать на этой модели собственные ролики и сравнить результаты.

Тестировать лучше на самых неудобных кадрах:

• крупные планы с речью, чтобы проверить губы и мимику;
• сцены с вывесками, титрами и интерфейсами, чтобы проверить текст;
• длинные ролики ближе к 15 секундам, чтобы увидеть, не накапливается ли дрейф.

Для продактов и студий интересен сам принцип. Если вы делаете пайплайн «быстрый черновик в низком разрешении, финальный рендер отдельно», такой апскейл позволяет дёшево итерировать на черновиках и не терять узнаваемость персонажей на выходе.

Ограничения

Все цифры пока взяты из анонса NVIDIA и поста в канале. Независимых бенчмарков и сравнений с MiniMax на сторонних данных я не видел. Сколько видеопамяти нужно для 4K и какая лицензия у весов, в материалах не указано, это надо проверить в репозитории до того, как закладывать модель в продакшен.

Кроме того, контекстная схема по определению тянет в трансформер и черновик, и генерируемые токены. Для длинных роликов и высоких разрешений это обычно означает заметные требования к памяти. Насколько это ощутимо здесь, покажут только тесты.

Итог: идея понятная и правильная, пусть и не революционная. Не мешать модели с исходником, а дать ей на него смотреть. Если заявления подтвердятся, у открытых видеопайплайнов появится серьёзный аргумент против платного API.