FineSplat: мелкие патчи и двойная группировка для детального синтеза видов

FineSplat: новый уровень детализации в синтезе видов

Коллектив KAIST под руководством Hyebin Kim, Hwasik Jeong, Joonhyuk Park, Gyeongjin Kang, Jungwoo Kim, Younghyun Kim и Eunbyung Park представил FineSplat — архитектуру feed-forward 3D Gaussian Splatting, которая восстанавливает фотореалистичные сцены с беспрецедентной для этого подхода детализацией. Метод работает без информации о позах камер (pose-free), что критично для практических приложений в сканировании и медиапроизводстве.

Три уровня архитектуры

3D Gaussian Splatting обещает мгновенную реконструкцию с высоким качеством, но мелкозернистая геометрия и текстура остаются трудной проблемой. Глобальное многовидовое внимание требует запрещающих вычислительных затрат при высоких разрешениях токенов. FineSplat решает проблему комплексно на трёх уровнях.

Первый уровень — мелкозернистые признаки. Система работает с высокоразрешёнными патчами изображений вместо глобальных характеристик сцены, извлекая локальные признаки из отдельных участков кадра. Это лучше сохраняет тонкие детали текстуры и микрогеометрии.

Второй уровень — двойная групповая стратегия внимания, комбинирующая два взаимодополняющих вида локальности:

• View-wise grouping: эффективное взаимодействие между геометрически соседними видами без затратного глобального трансформера
• 3D spatial grouping: воссоединение токенов, связанных в трёхмерном пространстве сцены, которые иначе не взаимодействовали бы при простой view-wise стратегии

Третий уровень — использование ошибки реконструкции как явный сигнал обратной связи. Rendering-based feedback применяет прямое рендеринг-базированное сравнение с целевыми изображениями, обеспечивая явную геометрическую и текстурную коррекцию. Это преодолевает ограничения одноходового feed-forward prediction. Компактная схема генерации гауссиан сохраняет преимущества мелкозернистых признаков без ненужного увеличения количества примитивных элементов.

Результаты и масштаб применения

FineSplat достигает состояния искусства с существенным отрывом, восстанавливая более богатую геометрию и текстуру при примерно 4× меньшем количестве гауссиан, чем существующие методы. Метод одинаково эффективен как для синтеза видов с известными позами (posed novel view synthesis), так и для pose-free сценария.

Экосистема похожих методов 2026 года

FineSplat встраивается в быстро растущий класс feed-forward 3DGS подходов. Близкородственные работы текущего года:

• DeltaSplat — итеративное уточнение гауссиан для pose-free feed-forward 3D Gaussian Splatting
• InfiniSplat v2 — анализ и улучшение feed-forward 3DGS при синтезе с произвольных видов
• GrapeSplat — geometry-grounded реконструкция через амальгамированное pose-free кодирование в 3DGS
• AIMS — anchor-integrated мульти-видовой синтез для масштабируемого рендеринга новых видов
• Anchor3DGS — feed-forward 3D Gaussian Splatting с компактной якорь-базированной репрезентацией
• Tele360 — real-time реконструкция человека из редких неориентированных камер
• CoTL — компактное токен-лёгкое представление для 3D сцен

Работа опубликована 18 октября 2026 года, получила 36 апвотов на Hugging Face и 32 звезды на GitHub. Исходный код и интерактивная демонстрация доступны на github.com/hyebinny/FineSplat и hyebinny.github.io/FineSplat/