Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизОткрытые веса · В работуTG: @ai_machinelearning_big_data (Machinelearning)→ оригинал

Pika Labs выложила открытую видеомодель H3 Flex: 6 шагов вместо 50

Pika Labs выпустила H3 Flex — открытую модель для генерации видео. Её дообучили на базе MiniMax H3, и теперь она собирает ролик за 6 шагов денойзинга вместо привычных 50. Денойзинг — это очистка случайного шума: на каждом шаге нейросеть делает один проход и постепенно проявляет кадры. На такую обработку 15-секундного ролика в 768p уходит 7 секунд. По данным Pika, это в 1,8 раза быстрее и на 80% дешевле старшей версии H3 Max. Сократить число шагов помогло дообучение на предпочтениях: модель учили выдавать удачный результат без долгой раскрутки.

AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
Pika Labs выложила открытую видеомодель H3 Flex: 6 шагов вместо 50
Источник: TG: @ai_machinelearning_big_data (Machinelearning). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @ai_machinelearning_big_data (Machinelearning) ↗
Главный редактор
Пять отдельных аудиодорожекдиалоги, музыка, спецэффекты, шумы, фон
Ключевой факт #2До 12 референсов и апскейл до 4K
Ключевой факт #3API от 1 цента за секунду видео, веса уже на Hugging Face

Pika Labs выпустила H3 Flex — открытую модель для генерации видео. Её дообучили на базе MiniMax H3 и сократили процесс рендеринга с 50 шагов до 6. Шаг здесь — один проход большой нейросети (диффузионного трансформера, DiT), которая превращает случайный шум в картинку и убирает его постепенно. Чем меньше проходов, тем быстрее и дешевле итог. Pika утверждает, что на очистку от шума 15-секундного ролика в разрешении 768p уходит 7 секунд, а вся модель работает в 1,8 раза быстрее и на 80% дешевле, чем H3 Max.

Почему шагов стало в 8 раз меньше, а ускорение — только в 1,8

Модели видео стоят дорого именно из-за числа шагов. Каждый проход обрабатывает десятки кадров сразу, поэтому 50 итераций превращаются в заметные счета за GPU. Pika взяла MiniMax H3 и дообучила её методом, основанным на предпочтениях. Модель получает пары результатов, где один лучше другого, и учится выдавать хороший вариант быстро, не полагаясь на длинную цепочку уточнений. Такой приём часто применяют, чтобы сжать число шагов без явной потери качества.

Стоит заметить: шагов стало в 8,3 раза меньше, а общее ускорение относительно H3 Max составляет 1,8 раза. Цифра 7 секунд относится только к денойзингу. В полном цикле есть и другие этапы: разбор запроса и референсов, декодирование кадров, звук, апскейл. Скорее всего, именно они не дают ускорению вырасти пропорционально. Цифры скорости и цены даёт сама Pika, независимых замеров в материале нет.

Звук раздельными дорожками и 12 референсов

Главное практическое отличие H3 Flex — не только скорость, но и то, что она отдаёт монтажёру. Модель экспортирует пять независимых аудиодорожек:

  • диалоги;
  • саундтрек;
  • спецэффекты;
  • шумы;
  • эмбиент (фоновый звук среды).

Монтажёру не нужно вытаскивать голос из общей каши: можно убрать музыку, переписать реплики, а шум улицы оставить. Для рекламы и коротких роликов это сильно упрощает пост-продакшн.

На вход модель принимает до 12 референсов. Среди них могут быть скетчи, аудиосэмплы и мудборды. Так можно задать внешний вид персонажа, стиль или звучание, не пытаясь описать всё одним текстовым запросом.

Ещё в модели есть:

  • генерация черновиков — быстрые пробные версии, чтобы выбрать направление;
  • точечное редактирование персонажей или движения камеры без перегенерации всего ролика;
  • апскейл до 4K.

Черновики хорошо сочетаются с дешёвым и быстрым инференсом: можно сделать много проб и дорогой финальный прогон запускать только для удачной.

Цена, открытые веса и что проверить до внедрения

Pika опубликовала код инференса и веса модели в открытом доступе (репозиторий на GitHub и страница на Hugging Face) и запустила API. Генерация стоит:

  • от 1 цента за секунду видео в режиме «текст в видео»;
  • до 3 центов за секунду, если ролик создаётся по референсам.

По простой арифметике, 15-секундный ролик обойдётся примерно в 15 центов при генерации по тексту и до 45 центов при работе с референсами. Это ориентир, итоговый счёт зависит от разрешения и настроек. В платформу Pika.art модель встроят 2 ноября.

По качеству H3 Flex занимает восьмое место в общем рейтинге видеомоделей DesignArena. Это не лидерство, но для быстрой и недорогой открытой модели результат заметный. Выше стоят восемь конкурентов, и разрыв с лидерами стоит оценить на своих задачах.

Что это значит для практиков. Студиям и разработчикам сервисов с видео теперь доступна открытая модель с раздельным звуком и разумной ценой. Её можно развернуть на своих GPU или подключить через API. Перед коммерческим использованием стоит прочитать лицензию в репозитории и самим прогнать типовые сценарии: скорость в 7 секунд на денойзинг не гарантирует такого же времени всего конвейера. Для рынка это ещё один сигнал: гонка видеомоделей смещается от красоты кадра к цене секунды и удобству монтажа.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему шагов стало в 8 раз меньше, а ускорение — только в 1,8?

Модели видео стоят дорого именно из-за числа шагов. Каждый проход обрабатывает десятки кадров сразу, поэтому 50 итераций превращаются в заметные счета за GPU. Pika взяла MiniMax H3 и дообучила её методом, основанным на предпочтениях. Модель получает пары результатов, где один лучше другого, и учится выдавать хороший вариант быстро, не полагаясь на длинную цепочку уточнений. Такой приём часто применяют, чтобы сжать число шагов без явной потери качества.

Что известно по теме: звук раздельными дорожками и 12 референсов?

Главное практическое отличие H3 Flex — не только скорость, но и то, что она отдаёт монтажёру. Модель экспортирует пять независимых аудиодорожек: диалоги; саундтрек; спецэффекты; шумы; эмбиент (фоновый звук среды). Монтажёру не нужно вытаскивать голос из общей каши: можно убрать музыку, переписать реплики, а шум улицы оставить. Для рекламы и коротких роликов это сильно упрощает пост-продакшн. На вход модель принимает до 12 референсов. Среди них могут быть скетчи, аудиосэмплы и мудборды.

Что известно по теме: цена, открытые веса и что проверить до внедрения?

Pika опубликовала код инференса и веса модели в открытом доступе (репозиторий на GitHub и страница на Hugging Face) и запустила API. Генерация стоит: от 1 цента за секунду видео в режиме «текст в видео»; до 3 центов за секунду, если ролик создаётся по референсам. По простой арифметике, 15-секундный ролик обойдётся примерно в 15 центов при генерации по тексту и до 45 центов при работе с референсами. Это ориентир, итоговый счёт зависит от разрешения и настроек. В платформу Pika.art модель встроят 2 ноября.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…