Image Mixer склеивает несколько картинок в один вход для img2img в Stable Diffusion

RunPod выпустил руководство по Image Mixer: инструменту, который смешивает несколько исходных изображений в один гибридный вход и только потом отдаёт его в img2img в Stable Diffusion. Вместо одного референса модель получает композит. Параметр strength в диапазоне от 0 до 1 определяет, сколько от этого композита останется в результате. Это инструкция к существующему инструменту, а не анонс новой модели, но сценарий рабочий и воспроизводимый.

Что меняется в привычном img2img

Классический img2img принимает одну картинку и текстовый промпт. Модель добавляет к картинке шум, а затем убирает его, ориентируясь на описание. Ограничение очевидно. Если нужный образ лежит между двумя-тремя референсами, его приходится либо описывать словами, либо долго искать один идеальный кадр.

Image Mixer добавляет шаг до генерации. Вы берёте несколько изображений, например портрет, фактуру ткани и кадр с нужной палитрой, и получаете один смешанный источник. Дальше работает обычный пайплайн. Смешивание и денойзинг разнесены по времени, поэтому каждый этап можно настраивать отдельно.

В короткой аннотации RunPod нет подробностей о внутренней механике. Известные реализации подобных миксеров опираются на векторные представления изображений, а не на попиксельное наложение. Для вас это означает, что результат больше похож на смесь концепций, чем на коллаж из двух слоёв.

Что настраивается

Гайд описывает установку и порядок работы. Набор параметров здесь типичный для Stable Diffusion:

• Входные изображения: несколько источников, вклад каждого можно регулировать.
• Strength: от 0 до 1. Низкие значения сохраняют композицию смешанного входа, высокие отдают инициативу модели и промпту.
• Промпт: уточняет результат, но не обязателен для первого прогона.
• Seed: фиксируется для честного сравнения вариантов.
• Число шагов и guidance scale: стандартные ручки качества и следования описанию.
• Железо: GPU в облаке RunPod, оплата по времени использования.

Где это пригодится

Больше всего выигрывают задачи, где результат собирается из нескольких визуальных источников. Это мудборды для концепт-арта, поиск стиля для иллюстраций, быстрые варианты упаковки или интерьера. Раньше дизайнер вручную подбирал один референс или собирал коллаж в графическом редакторе. Теперь коллаж превращается в параметр.

Связка с облачным GPU тоже не случайна. Серия из десятков вариантов на разных значениях strength на локальной карте с небольшой памятью идёт медленно. Арендованный ускоритель убирает это ограничение, а платить придётся только за время работы.

С чего начать на практике

Порядок действий для первого эксперимента такой:

1. Возьмите два-три изображения сопоставимого размера и разной природы: объект, фактура, палитра.
2. Запустите смешивание с равными весами, затем сдвигайте вес по одному источнику и смотрите, как меняется гибрид.
3. Передайте результат в img2img со средним strength, около 0,4–0,6. Это стартовая точка по общей практике, а не рекомендация из гайда. Дальше двигайтесь в обе стороны.
4. Зафиксируйте seed и меняйте по одному параметру за прогон. Иначе вы не поймёте, что именно дало эффект.
5. Следите за лицензиями на исходные изображения. Гибрид из чужих работ не снимает вопросов об авторских правах, особенно в коммерческих проектах.

Если вы уже работаете со Stable Diffusion, Image Mixer не потребует нового процесса. Он добавляет один предварительный этап, который экономит время на поиске референсов.