Alibaba DAMO учит роботов на 30 тыс. часов видео без меток действий

Главная проблема больших моделей для роботов (VLA, vision-language-action) — нехватка данных с разметкой действий. Демонстраций с записанными командами мало, а у каждого робота своё пространство управления. Исследователи Alibaba DAMO Academy предлагают обойти это ограничение. Фреймворк RynnVLA-Latent предобучается на 30,1 тыс. часов видео людей, роботов и симуляций, где нет родных команд управления. Итоговая политика на 4 млрд параметров набирает 98,8% успеха на LIBERO и 88,6% на двуручном бенчмарке RoboTwin 2.0.

Действия, которых никто не записывал

В основе работы лежит модель RynnLAM. Она смотрит на пары кадров и учится описывать переход между ними как непрерывное латентное действие. Родные команды робота для этого не нужны, поэтому подходит любое видео, в том числе ролики, где руки человека собирают предметы.

У такого подхода есть слабое место. Если просто предсказывать будущую картинку, модель легко начинает кодировать изменения внешнего вида: свет, фон, движение камеры. Авторы борются с этим тремя приёмами:

• предсказание остаточных будущих признаков (residual future-feature prediction) заставляет модель кодировать именно изменение между кадрами;
• 3D-flow supervision с компенсацией движения камеры привязывает представление к реальному перемещению объектов в пространстве;
• развязка движения камеры (camera-motion decoupling) отделяет перемещение камеры от действий в сцене.

Вместе это даёт представления, которые описывают движение, важное для управления, а не просто смену картинки.

От 745 миллионов дескрипторов к реальной руке

RynnLAM применили ко всему корпусу из 30,1 тыс. часов и получили 745,52 млн латентных дескрипторов. На них обучается сама политика. RynnVLA-Latent по визуальным наблюдениям и языковой инструкции предсказывает блоки латентных действий (latent-action chunks) методом flow matching.

Дальше идёт постобучение под конкретного робота. Предобученный бэкбон и экспертный модуль действий (action expert) адаптируются к родным командам управления конкретной платформы. Латентные цели служат общим языком для разных тел, а специфика конкретной механики добавляется в конце.

Авторы проверяли и качество самих представлений. Замороженные представления тестировали пробами, чтобы показать, что по ним можно предсказывать управление. Также они прогнали абляции представлений и построили кривые масштабирования: качество растёт вместе с объёмом латентного предобучения.

Что показали бенчмарки

Модель на 4 млрд параметров показала такие результаты:

• LIBERO — 98,8% успеха;
• LIBERO-Plus — 84,7% без адаптации под этот бенчмарк;
• VLABench — 51,9% в среднем по пяти трекам;
• RoboTwin 2.0 (двуручные задачи) — 88,6% в среднем;
• шесть реальных манипуляционных задач на платформах с ловкой рукой и мобильным захватом — наивысшие показатели среди сравниваемых методов.

Оговорка важна: в реальных задачах речь о лучшем результате среди методов, которые авторы включили в сравнение. Широкого сопоставления с закрытыми промышленными системами в работе нет.

Практический вывод для индустрии

Узкое место робототехники сегодня — данные. Телеоперация дорога, а совместимость датасетов между роботами остаётся хронической проблемой. Работа DAMO показывает практичный путь: использовать накопленные видео, в том числе человеческие, как источник сигнала для управления.

Для команд, которые строят манипуляционные модели, это означает несколько вещей. Во-первых, видео без разметки можно превращать в обучающие цели, если корректно убрать движение камеры. Во-вторых, одно предобучение переносится на разные платформы через короткое постобучение. В-третьих, график масштабирования указывает: ещё больше видео даст ещё лучший результат, а видео в мире куда больше, чем размеченных демонстраций.

Это академический результат, но код уже опубликован в репозитории alibaba-damo-academy/RynnVLA-Latent, а страница проекта открыта. Проверить цифры и применить метод на своих платформах смогут и независимые группы.