LVSPM обошла VGGT в оценке поз камеры на 16–256 кадрах и не ломается на больших сценах
Авторы LVSPM представили обобщаемую модель, которая по набору некалиброванных фотографий одновременно оценивает позы камер и синтезирует новые виды сцены. Обучение идёт только на RGB-изображениях и разметке поз, без плотной 3D-разметки. За масштабирование до сотен входных кадров отвечают слои test-time training (TTT). На RealEstate10k, Co3Dv2 и DL3DV модель превосходит VGGT в оценке поз при 16–256 видах, особенно на жёстких порогах.
AI-обработка оригинала arXiv cs.CV; редакция Hamidun News
Исследователи представили LVSPM — модель, которая принимает набор фотографий без калибровки и за один проход решает две задачи: оценивает позы камер и синтезирует новые ракурсы сцены. Диапазон входа — от 16 до 256 кадров. На трёх бенчмарках (RealEstate10k, Co3Dv2 и DL3DV) она, по заявлению авторов, превосходит VGGT по точности оценки поз, а в синтезе видов обходит по PSNR даже модели, которым позы камер выдают заранее. Код опубликован.
Две задачи вместо конвейера
Классический путь к новым ракурсам выглядит так: сначала structure-from-motion вычисляет позы камер, затем NeRF или гауссовы сплаты по этим позам восстанавливают сцену. Ошибка на первом шаге переходит на второй. LVSPM объединяет этапы в одной feed-forward модели. Она получает изображения как есть и выдаёт позы и новые виды, без отдельной оптимизации под каждую сцену.
Условия обучения скромные. Нужны только RGB-кадры и разметка поз. Плотная 3D-геометрия (карты глубины, облака точек), которую часто требуют конкурирующие подходы, не используется. Достать такие данные в масштабе дорого, а видео с известными траекториями камеры встречаются заметно чаще.
TTT-слои и длинные последовательности
Главная инженерная идея — test-time training слои. Внимание, на котором построены модели вроде VGGT, растёт квадратично с числом кадров. TTT-слои хранят контекст в быстро обновляемых весах, поэтому, как утверждают авторы, модель масштабируется до сотен входных видов без резкого роста затрат. Подробных замеров памяти и скорости в аннотации нет, их стоит искать в самой статье.
Проверка шла на 16, 32, 64, 128 и 256 видах. По оценке поз LVSPM опережает VGGT на всём диапазоне, причём отрыв больше всего на строгих порогах. Это важная деталь. Грубо попасть в позу умеют многие, а для реконструкции нужна точность в градусах и сантиметрах.
Протокол, при котором базовые методы разваливаются
Отдельный акцент авторы делают на протоколе оценки синтеза видов. Его называют практическим: чем больше кадров, тем больше площадь сцены. Привычные бенчмарки с фиксированной небольшой областью скрывают проблему, которая видна при реальной съёмке дома или улицы. По этому протоколу LVSPM показывает лучшее качество среди методов без поз и сохраняет его по мере роста сцены, тогда как базовые методы, по словам авторов, «схлопываются».
Отдельно отмечается результат по PSNR: модель обходит методы, зависящие от поз, то есть те, у кого на входе есть дополнительная информация. Это заявление придётся перепроверять независимыми запусками, но направление понятно.
Что известно из аннотации
- Вход: некалиброванные коллекции изображений, 16–256 видов.
- Выход: позы камер и новые виды сцены, оба результата в одной модели.
- Обучение: только RGB и supervision по позам, без плотного 3D ground truth.
- Архитектурный приём: слои test-time training для длинных контекстов.
- Бенчмарки: RealEstate10k, Co3Dv2, DL3DV.
- Сравнение: лучше VGGT по позам, особенно на строгих порогах; SOTA среди pose-free методов по качеству синтеза.
- Код: открыт на странице проекта.
Кому это пригодится
Для команд, работающих с фото- и видеозахватом недвижимости, картографией, дронами или цифровыми двойниками, ценность в том, что отпадает отдельный этап калибровки и SfM на сотнях кадров. Практическая проверка проста: взять открытый код, прогнать собственные съёмки с дрожанием камеры, плохим светом и повторяющимися текстурами и сравнить позы с результатом COLMAP или VGGT. Именно на таких данных обычно видно, держится ли обобщение за пределами академических датасетов.
Исследователям интересен переход к TTT как альтернативе вниманию в 3D-задачах. Если выигрыш на длинных последовательностях подтвердится другими группами, подход быстро появится в связанных моделях реконструкции. Пока это препринт без рецензирования, а ключевые цифры PSNR и ошибок поз в аннотации не приводятся. Их нужно смотреть в таблицах статьи и в воспроизведении.
- 12 нояб. 2026 г.Google открывает предзаказ на очки с Gemini от $395 и блокирует скрытую съёмку
- 12 нояб. 2026 г.Samsung готовит платную подписку на Galaxy AI: от $4,99 в месяц и кредиты вместо безлимита
- 12 нояб. 2026 г.Adobe показала на Max четыре ИИ-прототипа: 3D из фото, звук-квадрат и копипаст правок
- 12 нояб. 2026 г.Instagram запустил создание фильтров по описанию для пользователей 18+ в США
Вопросы и ответы по материалу
Что известно по теме: две задачи вместо конвейера?
Классический путь к новым ракурсам выглядит так: сначала structure-from-motion вычисляет позы камер, затем NeRF или гауссовы сплаты по этим позам восстанавливают сцену. Ошибка на первом шаге переходит на второй. LVSPM объединяет этапы в одной feed-forward модели. Она получает изображения как есть и выдаёт позы и новые виды, без отдельной оптимизации под каждую сцену. Условия обучения скромные. Нужны только RGB-кадры и разметка поз.
Что известно по теме: TTT-слои и длинные последовательности?
Главная инженерная идея — test-time training слои. Внимание, на котором построены модели вроде VGGT, растёт квадратично с числом кадров. TTT-слои хранят контекст в быстро обновляемых весах, поэтому, как утверждают авторы, модель масштабируется до сотен входных видов без резкого роста затрат. Подробных замеров памяти и скорости в аннотации нет, их стоит искать в самой статье. Проверка шла на 16, 32, 64, 128 и 256 видах.
Что известно по теме: протокол, при котором базовые методы разваливаются?
Отдельный акцент авторы делают на протоколе оценки синтеза видов. Его называют практическим: чем больше кадров, тем больше площадь сцены. Привычные бенчмарки с фиксированной небольшой областью скрывают проблему, которая видна при реальной съёмке дома или улицы. По этому протоколу LVSPM показывает лучшее качество среди методов без поз и сохраняет его по мере роста сцены, тогда как базовые методы, по словам авторов, «схлопываются».
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.