RelayVSR увеличивает разрешение видео в 4 раза и выдаёт 29 кадров/с на A100

Старый ролик нужно поставить на большой экран, а после обычного увеличения лица расплываются и детали превращаются в кашу. Генеративный апскейл может сделать картинку убедительнее, но обработка каждого кадра тяжёлой моделью обходится дорого. RelayVSR предлагает разделить работу: большая сеть готовит редкие опорные кадры, маленькая обрабатывает остальную последовательность. Для команды видеопродукта это повод проверить локальную обработку на своих роликах и посчитать стоимость минуты.

Зачем двум моделям обрабатывать один ролик

Представьте съёмку человека в фактурной куртке. Большая модель создаёт подробный ориентир для отдельных моментов, а лёгкая сеть использует его вместе с исходным видео, чтобы обработать промежуточные кадры. Ей не приходится каждый раз заново придумывать всю фактуру ткани. При этом она учитывает недавние кадры, чтобы детали сохраняли связь с движением.

У такого разделения есть неприятное свойство: ошибка в опорном кадре может перейти в следующие. Поэтому авторы обучают большую модель с учётом качества итогового видео. Оценивать только красоту отдельно взятого кадра недостаточно: удачная картинка ещё должна помогать второй сети собирать последовательный ролик. Устройство метода описано в статье RelayVSR.

Практический смысл здесь понятен и за пределами апскейла. Если дорогую операцию можно выполнять изредка, а её результат повторно использовать, появляется шанс сократить вычисления. Но экономию приходится проверять вместе с ошибками: один плохой ориентир способен испортить сразу несколько следующих результатов. Для видеосервиса это влияет и на расходы, и на долю материала, которую придётся пересчитывать.

Что означает результат в 29 кадров в секунду

По данным авторов, при выходном разрешении 1080p RelayVSR достигает 29,29 кадра/с с пиковым расходом видеопамяти 13,82 ГБ. В том же сравнении FlashVSR-Tiny показывает 7,80 кадра/с и 24,447 ГБ. Замер выполнен на одной NVIDIA A100 с 80 ГБ памяти, с интервалом между опорными кадрами в 15 кадров. Это результаты команды проекта, опубликованные на странице с демонстрациями.

Отсюда нельзя вывести обещание Telegram-поста, что подойдёт любая видеокарта с памятью больше 14 ГБ. Объём памяти описывает только часть условий запуска. Он не гарантирует ни совместимость оборудования, ни такую же скорость на домашнем компьютере. Покупать карту под этот инструмент по одной цифре из поста было бы преждевременно.

Есть и вопрос доверия к изображению. Более убедительная фактура сама по себе не доказывает, что именно такая фактура была перед камерой. Для семейного архива это может быть приемлемым компромиссом. Для материала, где важна достоверность мелких деталей, исходник нужно сохранять и сравнивать с результатом. Обещание «спасти любое видео» слишком широкое: качество конкретной записи всё равно придётся оценивать глазами.

Как проверить пользу до интеграции

В официальном репозитории доступны инструкция и ссылки на два файла весов. Описанная среда запуска — Linux, Python 3.11–3.13 и NVIDIA GPU. Скрипт увеличивает ширину и высоту ровно в четыре раза, сохраняет частоту кадров, но не переносит аудио. Значит, в рабочем процессе понадобится отдельный шаг для возвращения звуковой дорожки.

Начать разумно с коротких фрагментов собственного материала: лицо в движении, мелкая фактура, резкая смена сцены. Посмотрите, сохраняются ли черты человека, не начинают ли детали мерцать, сколько занимает обработка. Эти проверки дадут больше для решения об интеграции, чем эффектный стоп-кадр из демонстрации.

Для продакта следующий шаг — измерить полную стоимость обработки, включая подготовку файлов, возврат звука и повторные прогоны неудачных сцен. Для разработчика — проверить воспроизводимость на доступном оборудовании. RelayVSR уже даёт достаточно для такого эксперимента: опубликованную реализацию, веса и конкретный сценарий запуска. Решение о внедрении стоит принимать после проверки на том видео, с которым продукт действительно будет работать.