Для MOSS-Image-SFT вышли ControlNet-адаптеры под Apache 2.0: поза, глубина, контуры

Знакомая боль всех, кто делает картинки нейросетями: промпт описывает «что», но почти не контролирует «где». Вы просите человека в прыжке, а модель выдаёт его стоящим. Просите конкретный ракурс, а получаете случайный. Для этого и придумали ControlNet: вы подаёте не только текст, но и структурную подсказку, и модель строит картинку вокруг неё.

Для MOSS-Image-SFT такой набор теперь есть. Он вышел под лицензией Apache 2.0, а значит, его можно использовать в коммерческих проектах без отдельных согласований.

Что именно выпустили

В линейку вошли семь адаптеров: OpenPose/DWPose (скелет и ключевые точки тела), Depth (карта глубины), Canny (контуры), Lineart (линейный рисунок), Normal Map (нормали поверхности), Scribble (грубые наброски) и Segmentation (разметка областей).

Принцип у всех один. Каждый модуль обучен как адаптер редактирования: входное изображение определяет структуру кадра, а текст задаёт всё остальное — внешность персонажа, материалы, окружение, стиль.

Простой пример. Вы берёте фотографию человека в нужной позе, прогоняете её через DWPose и получаете скелет. Дальше пишете промпт: «космонавт в ржавом скафандре на фоне пустыни». Поза остаётся от исходника, а всё остальное рисует модель. Тот же приём с Depth сохраняет перспективу комнаты при полной смене интерьера, а с Canny — силуэты предметов.

Технические детали

Адаптеры выполнены как LoRA: ранг 64 на линейных слоях и ранг 16 на сверточных блоках. Обучали с включенным KV-кэшем. Для практика важнее другое: заявлена совместимость с квантованными весами. UNet работает в INT8, а текстовый энкодер Qwen3.5-9B — в W4A8 GPTQ. При такой конфигурации всё заводится на потребительских видеокартах с 16–24 ГБ VRAM.

Для ComfyUI подготовлены готовые воркфлоу. Они используют ноду Text Encode MOSS-Image Edit в режиме ai-toolkit. Собирать цепочку с нуля не придётся: загрузили воркфлоу, подставили веса, подали референс.

Веса для OpenPose, Depth и Canny уже опубликованы на Hugging Face. Судя по ссылкам, их выложил сторонний автор (аккаунт thedeoxen), а не сама команда OpenMOSS, которая отвечает за базовую модель.

Ограничения и что с этим делать

В посте нет ни бенчмарков, ни сравнений с ControlNet для других моделей. Поэтому о качестве и стабильности структурного контроля судить рано: насколько точно держится поза на сложных сценах и не «плывут» ли контуры при смене стиля, придётся проверять самим. Кроме того, ссылки на веса есть только для трёх адаптеров из семи. Где лежат Lineart, Normal, Scribble и Segmentation, из поста не ясно.

Практический вывод короткий:

• Если вы уже гоняете MOSS-Image-SFT в ComfyUI, берите Pose, Depth и Canny и сравнивайте с вашим текущим пайплайном на своих референсах.
• Если выбираете открытую модель для продуктового пайплайна (генерация персонажей, сторибордов, интерьеров), наличие структурного контроля под Apache 2.0 — весомый плюс. Он снимает необходимость в закрытых API ради предсказуемой композиции.
• Если у вас карта на 16 ГБ, начинайте с квантованной конфигурации и проверьте, как INT8 и W4A8 влияют на детали.

Итог: это не прорыв в архитектуре, а недостающий кусок инфраструктуры. Но именно такие куски превращают открытую модель из демки в рабочий инструмент.