Video-Point Model прогнозирует видео с нескольких камер и 3D-траектории точек

Команда исследователей опубликовала Video-Point Model (VPM): мировую модель, которая принимает историю видео с нескольких камер и языковую инструкцию, а на выходе выдаёт два результата. Первый — будущие видеокадры с произвольных ракурсов. Второй — 3D-траектории устойчивых точек сцены. К модели прилагаются два набора данных: симуляционный корпус VPM-Data и бенчмарк VP-WorldBench, который покрывает симулированные и реальные среды. Расширенная версия VPM управляет роботом, и авторы утверждают, что точечная supervision повышает её успех в манипуляциях и в симуляции, и на реальном железе.

Зачем видео привязывать к точкам

У мультикамерного прогноза есть слабое место. Если каждый ракурс генерируется отдельно, камеры могут «договориться» о разном будущем: предмет в одном кадре уже сдвинулся, в другом остался на месте. Прогноз остаётся надёжным, только когда все видео описывают одну и ту же эволюционирующую 3D-сцену.

Авторы решают это через общий язык движения. Каждая траектория отслеживает одну физическую точку сквозь время и сквозь все камеры. Когда модель учится предсказывать такие траектории параллельно с генерацией видео, изменения внешнего вида в каждом ракурсе оказываются привязаны к единому описанию 3D-движения. Видео перестаёт быть набором независимых картинок.

Как устроена модель

VPM строится на предобученной мировой модели. Поверх неё добавлена мультикамерная обработка с условием на параметры камеры, которая объединяет дополняющие друг друга наблюдения с разных точек обзора. Отдельная траекторная голова предсказывает, как точки перемещаются во времени.

Ключевые параметры работы:

• вход: мультикамерная история видео и языковая инструкция;
• выход: будущие видео с произвольных ракурсов и 3D-траектории персистентных точек;
• основа: предобученная мировая модель с камерно-обусловленной мультиракурсной обработкой;
• обучающие данные: VPM-Data, симуляция с синхронными мультикамерными видео и траекториями точек;
• оценка: VP-WorldBench (симуляция и реальные среды) и существующие бенчмарки 4D-генерации;
• управление роботом: действия добавлены как токены в генератор и очищаются от шума совместно с будущими видео.

От прогноза к управлению

Вторая часть работы касается робототехники. Авторы добавляют действия робота как ещё одну модальность токенов в генератор. Эти токены используют тот же backbone с точечной supervision и денойзятся вместе с будущими видео. Политика получает опору в том же 3D-осознанном представлении, на котором модель учится предсказывать мир.

На VP-WorldBench и существующих бенчмарках 4D-генерации точечная supervision улучшает и качество видео, и точность 3D-движения по сравнению с аналогом, обученным только на видео. В экспериментах с симулированными и реальными роботами она же повышает успех манипуляций у модели с действиями. В доступном описании работы нет численных значений прироста, поэтому масштаб эффекта нужно проверять по таблицам самой статьи.

Что проверить тем, кто строит роботов и мировые модели

Сначала посмотрите на источник данных. VPM-Data целиком симуляционный: траектории точек там известны точно, а в реальной съёмке их пришлось бы размечать или оценивать трекером. Если ваша задача лежит на реальных данных, критично, насколько результаты на реальных частях VP-WorldBench переносятся из симуляции.

Затем оцените стоимость. Мультикамерная обработка и траекторная голова добавляют вычисления, а точечная supervision требует сопоставления точек между ракурсами. Для команд с несколькими камерами на рабочей ячейке это естественный сетап. Для роботов с одной камерой на запястье выигрыш придётся проверять отдельно.

Наконец, сравнивайте с базой. Авторы показывают пользу точечной supervision относительно видео-only версии той же архитектуры. Это чистая абляция, но она не заменяет сопоставления с политиками, обученными другими методами. Для практики полезнее всего будет повторить эксперимент на своей задаче манипуляции: включить и выключить траекторную голову и сравнить долю успешных попыток.