NVIDIA выложила Déjà View: 3D-реконструкция по фото на 117 млн параметров
Если вы когда-нибудь собирали 3D-сцену из набора фото, то знаете: нужны и позы камер, и глубина, и обычно тяжёлый пайплайн. NVIDIA, ETH Zurich и Университет Торонто выложили Déjà View — модель на 117 млн параметров, которая делает всё это за один проход. Секрет в том, что вместо стопки разных слоёв один и тот же блок трансформера прогоняется по кругу. Число кругов можно менять прямо на инференсе.
AI-обработка оригинала TG: @cgevent (Метаверсище и ИИще); редакция Hamidun News
Представьте, что вы сняли комнату на телефон или набрали сотню фото здания без какой-либо разметки. Чтобы получить из этого 3D-модель, нужно понять, где стояла камера в каждом кадре, какие у неё параметры и как далеко от неё каждая точка сцены. Это классическая задача Structure-from-Motion, и последние пару лет её всё чаще решают большими трансформерами вроде VGGT, Depth Anything 3, MapAnything и Pi3. Они работают хорошо, но разрослись до миллиардов параметров. NVIDIA Research вместе с ETH Zurich и Университетом Торонто предложила другой путь: Déjà View (DVLT) делает то же самое на 117 млн параметров.
Один блок вместо стопки слоёв
Авторы заметили, что глубокие 3D-трансформеры на разных слоях по сути повторяют одну и ту же операцию: шаг за шагом уточняют геометрию и позы камер. Зачем тогда хранить сотни миллионов уникальных весов для почти одинаковой работы?
В Déjà View глубокий стек заменили одним блоком трансформера с разделяемыми весами, который прогоняется по кругу. Внутри блока совмещены покадровое внимание (что происходит в одном снимке) и глобальное (как кадры связаны между собой). Аналогия простая: вместо десяти разных редакторов, каждый из которых правит текст по разу, один редактор читает его десять раз подряд.
На выходе модель одновременно предсказывает карту лучей, карту глубин и позы камер, внешние и внутренние. Получается полноценная реконструкция по неупорядоченным фото или видео.
Ручка «точность против скорости»
Главная практическая находка здесь не размер, а побочный эффект цикла. Число шагов K становится регулятором вычислений на этапе инференса. Модель обучается один раз, а дальше вы сами решаете, сколько кругов ей дать.
Мало шагов подойдут для быстрого потокового трекинга в реальном времени. Глубокий прогон (K около 12–16) нужен, когда важны аккуратная геометрия и точная калибровка камер. Отдельные чекпоинты под каждый режим и дообучение не нужны: достаточно одних весов.
По заявлению авторов, на пяти популярных бенчмарках реконструкции, включая ScanNet++ с интерьерными и уличными сценами, модель на равных конкурирует с 1B+ трансформерами или обгоняет их. Вычислений при этом требуется сопоставимо или заметно меньше. Конкретные цифры по метрикам в посте не приведены, поэтому их стоит смотреть в статье на arXiv (2605.30215).
Что с этим делать на практике
NVIDIA открыла код, пайплайн предобработки, скрипты визуализации на Rerun и веса nvidia/dvlt на Hugging Face. Запускается модель через Hugging Face Accelerate в BF16. Для команды это значит, что поэкспериментировать можно за вечер, без собственного обучения.
Где это может пригодиться:
- прототипы AR и пространственных приложений, где нужны позы камер и глубина из обычного видео;
- фотограмметрия и сканирование сцен, когда нет ни дорогих сенсоров, ни времени на ручную разметку;
- стартовые данные для других 3D-пайплайнов, которым нужны позы камер на входе. Это наше предположение, а не заявление авторов, и его надо проверять;
- задачи на ограниченном железе: компактная модель легче вписывается в память, чем миллиардные аналоги.
Ограничения и осторожность
Во-первых, малый размер не означает мгновенную работу. Разделяемые веса экономят память и размер чекпоинта, но каждый дополнительный цикл стоит вычислений. Сколько это в секундах на вашей видеокарте для вашего числа кадров, нужно мерить самим.
Во-вторых, сравнения с VGGT, Depth Anything 3 и Pi3 приведены самими авторами и на выбранных бенчмарках. На ваших данных, например на тёмных, блестящих или почти без текстур сценах, результат может отличаться.
В-третьих, пост называет лицензию «свободной», но перед коммерческим использованием точный тип лицензии кода и весов лучше проверить в репозитории и на странице модели.
Итог: Déjà View показывает, что для 3D-реконструкции гонка за размером не обязательна. Рекуррентный блок с настраиваемым числом шагов даёт разработчику контроль над балансом скорости и точности, а открытые веса позволяют проверить это без больших затрат. Если вы работаете с 3D из фото или видео, модель стоит добавить в список для быстрого бенчмарка.
- 12 нояб. 2026 г.ИИ-агенты перепроверили 2000+ статей ICML 2026 и нашли ошибки, пропущенные рецензентами
- 12 нояб. 2026 г.Восемь стран и OpenAI с Anthropic обещают «рубильник» для ИИ-моделей, но без сроков и штрафов
- 12 нояб. 2026 г.Hugging Face предупреждает: волна взломов может сделать open-source ИИ менее открытым
- 12 нояб. 2026 г.OpenAI построила Control Room: рубильник для моделей, которые вышли из песочницы
Вопросы и ответы по материалу
Что известно по теме: один блок вместо стопки слоёв?
Авторы заметили, что глубокие 3D-трансформеры на разных слоях по сути повторяют одну и ту же операцию: шаг за шагом уточняют геометрию и позы камер. Зачем тогда хранить сотни миллионов уникальных весов для почти одинаковой работы? В Déjà View глубокий стек заменили одним блоком трансформера с разделяемыми весами, который прогоняется по кругу. Внутри блока совмещены покадровое внимание (что происходит в одном снимке) и глобальное (как кадры связаны между собой).
Что известно по теме: ручка «точность против скорости»?
Главная практическая находка здесь не размер, а побочный эффект цикла. Число шагов K становится регулятором вычислений на этапе инференса. Модель обучается один раз, а дальше вы сами решаете, сколько кругов ей дать. Мало шагов подойдут для быстрого потокового трекинга в реальном времени. Глубокий прогон (K около 12–16) нужен, когда важны аккуратная геометрия и точная калибровка камер. Отдельные чекпоинты под каждый режим и дообучение не нужны: достаточно одних весов.
Что известно по теме: что с этим делать на практике?
NVIDIA открыла код, пайплайн предобработки, скрипты визуализации на Rerun и веса nvidia/dvlt на Hugging Face. Запускается модель через Hugging Face Accelerate в BF16. Для команды это значит, что поэкспериментировать можно за вечер, без собственного обучения.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.