Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизAPI / Продукт · В работуTG: @cgevent (Метаверсище и ИИще)→ оригинал

Runway запустила Sightline: 360-панорамы по промпту для Unreal и Blender

Runway выпустила в App Studio инструмент Sightline. Он генерирует по текстовому описанию бесшовную 360-градусную панораму, внутри которой можно поставить виртуальную камеру и менять ракурс без разваливающегося окружения. Для тех, кто делает фоны для видео и игр, это быстрый способ получить локацию вместо съёмки или ручной сборки сцены. Готовые карты окружения идут в Unreal Engine и Blender.

AI-обработка оригинала TG: @cgevent (Метаверсище и ИИще); редакция Hamidun News
Runway запустила Sightline: 360-панорамы по промпту для Unreal и Blender
Источник: TG: @cgevent (Метаверсище и ИИще). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @cgevent (Метаверсище и ИИще) ↗
Главный редактор
Ключевой факт #1FOV, фокусное расстояние, Full Frame и Super 35, Tilt/Roll
Ключевой факт #2Заявлена генерация без швов и артефактов по всей сфере
Ключевой факт #3Экспорт карт окружения и бэкдропов для 3D и композитинга

Любой, кто делал рекламный ролик, превиз или игровую сцену, знает эту боль: нужен фон, а у вас три плохих варианта. Можно выехать на съёмку, купить готовый HDRI-пак и надеяться, что там найдётся нужное место, или собирать окружение в 3D руками. Всё это стоит времени и денег. Runway предлагает четвёртый путь: описать локацию словами и получить из неё полноценную сферу, с которой можно работать как с настоящей съёмочной площадкой.

Что такое Sightline

Sightline входит в состав Runway App Studio. Это генератор бесшовных 360-градусных панорам и виртуальных локаций. Вы вводите текстовый промпт, система строит сферическую картинку, а дальше вы выставляете в ней виртуальную камеру под любым ракурсом.

Главная идея здесь не сама панорама. Генераторы панорам существовали и раньше, и обычно они ломались на стыках или давали плывущую геометрию при повороте. Runway делает ставку на пространственную консистентность: окружение должно оставаться одним и тем же местом, куда бы вы ни навели камеру. В анонсе заявлено отсутствие швов и артефактов при панорамировании в пределах всей сферы.

У камеры довольно взрослый набор настроек:

  • угол обзора (FOV) и фокусное расстояние объектива;
  • тип сенсора: Full Frame или Super 35;
  • наклон (Tilt) и крен (Roll);
  • свободный выбор ракурса съёмки.

То есть инструмент говорит на языке оператора и 3D-художника, а не только промпт-инженера.

Как это выглядит на практике

Представьте, что вы делаете ролик про кроссовки и вам нужен фон «мокрая неоновая улица ночью». Раньше вы либо искали подходящий HDRI, либо строили улицу в Blender. Теперь сценарий такой: пишете промпт, получаете сферу, ставите виртуальную камеру с «35 мм» и сенсором Super 35, слегка наклоняете её и снимаете первый план. Потом разворачиваете камеру на 90 градусов и снимаете второй ракурс. Если консистентность работает, как обещано, это один и тот же город, а не два похожих.

Готовые панорамы можно выгрузить как карты окружения и бэкдропы. Их используют в Unreal Engine, Blender и при видеокомпозитинге. Для виртуального продакшна это означает быстрые фоны для LED-стен или превиз, а для небольших студий и одиночек способ получить правдоподобную среду без бюджета на выездные съёмки.

Что пока неизвестно

Источник описывает возможности, но не даёт деталей, от которых зависит реальная польза. Перед тем как встраивать Sightline в рабочий процесс, стоит проверить несколько вещей:

  • Разрешение экспорта. Для фона в кадре и для освещения сцены нужны разные требования, а в анонсе цифр нет.
  • Динамический диапазон. Если карта окружения обычная 8-битная, а не HDR, как источник света в Blender или Unreal она будет работать хуже.
  • Поведение на полюсах сферы и на стыках. Именно там панорамы чаще всего ломаются, и заявление про «отсутствие швов» надо проверять самим.
  • Условия лицензии и цена: можно ли использовать результат в коммерческих проектах и сколько стоит генерация.
  • Стабильность одной локации между ракурсами при сложных сценах: интерьеры, мелкие детали, текст на вывесках.

Что делать разработчику и продакту

Если вы работаете с видео, играми или виртуальным продакшном, Sightline стоит протестировать на своих реальных задачах: сгенерировать три-четыре типовые для вас локации, выгрузить в свой движок и посмотреть, как они выглядят в рендере при реальном освещении. Особенно интересно сравнить время и стоимость с тем, что вы тратите сейчас на HDRI-паки и ручное моделирование окружения.

Продактам, которые строят инструменты вокруг генеративного видео, это ещё и сигнал о направлении. Runway двигается от «сгенерируй клип» к «дай контроль над сценой»: камера, оптика, консистентное пространство. Для профессионалов именно управляемость, а не красивая случайная картинка, решает, пойдёт ли инструмент в продакшн. Sightline — шаг в эту сторону, но окончательный вердикт зависит от качества экспорта и поведения в сложных сценах.

Попробовать можно в Runway App Studio.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое Sightline?

Sightline входит в состав Runway App Studio. Это генератор бесшовных 360-градусных панорам и виртуальных локаций. Вы вводите текстовый промпт, система строит сферическую картинку, а дальше вы выставляете в ней виртуальную камеру под любым ракурсом. Главная идея здесь не сама панорама. Генераторы панорам существовали и раньше, и обычно они ломались на стыках или давали плывущую геометрию при повороте.

Что известно по теме: как это выглядит на практике?

Представьте, что вы делаете ролик про кроссовки и вам нужен фон «мокрая неоновая улица ночью». Раньше вы либо искали подходящий HDRI, либо строили улицу в Blender. Теперь сценарий такой: пишете промпт, получаете сферу, ставите виртуальную камеру с «35 мм» и сенсором Super 35, слегка наклоняете её и снимаете первый план. Потом разворачиваете камеру на 90 градусов и снимаете второй ракурс. Если консистентность работает, как обещано, это один и тот же город, а не два похожих.

Что известно по теме: что пока неизвестно?

Источник описывает возможности, но не даёт деталей, от которых зависит реальная польза. Перед тем как встраивать Sightline в рабочий процесс, стоит проверить несколько вещей: Разрешение экспорта. Для фона в кадре и для освещения сцены нужны разные требования, а в анонсе цифр нет. Динамический диапазон. Если карта окружения обычная 8-битная, а не HDR, как источник света в Blender или Unreal она будет работать хуже. Поведение на полюсах сферы и на стыках.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…