Нарезка изображений подняла AP мелких дефектов на 9,4%, но замедлила анализ втрое

Мелкий скол на исходной фотографии ещё виден глазом. После уменьшения снимка до входного размера нейросети от него остаётся несколько пикселей, а на карте признаков — одна-две клетки. Для детектора это уже почти не объект, а шум. Простая идея — разрезать кадр на фрагменты и каждый увеличить — действительно помогает. Но у неё есть неприятная обратная сторона: пока мелкие дефекты становятся заметнее, крупные распадаются на части.

Автор эксперимента проверил этот компромисс на 1812 производственных снимках повреждений автомобилей. При входном размере 512 около 41% дефектов становились меньше восьми пикселей. Для деталей кузова таких объектов было лишь 1,6%. Поэтому единая метрика выглядела прилично: крупные и простые объекты маскировали почти нулевое качество на самых мелких.

Что дала нарезка

Самый дешёвый тест не потребовал нового обучения. Уже готовую Mask R-CNN запускали отдельно на фрагментах изображения, затем возвращали найденные маски в координаты полного кадра и убирали дубли. AP на мелких объектах вырос на 9,4%, mIoU — на 8,8%. Результат согласуется с идеей SAHI: увеличение локальных областей возвращает детектору детали, исчезающие при обычном ресайзе.

Цена оказалась вполне материальной. Один снимок обрабатывался в 3–4 раза дольше, потому что модель проходила каждый фрагмент отдельно. Для офлайн-проверки фотографий это может быть приемлемо. Для видеопотока или производственной линии — уже нет, пока команда не оптимизирует размер фрагментов, перекрытие и число запусков модели.

Дальше автор дообучил сеть на нарезанных данных. На фрагментах качество улучшилось, но на полном кадре модель стала хуже исходной. Причина проста: обучение и проверка проходили в разных масштабах. Сеть привыкла к увеличенным кускам и перестала уверенно работать с обычным изображением.

Попытка учить почти исключительно на сильно увеличенных фрагментах закончилась ещё хуже: общий AP на полном кадре упал примерно на треть, а полнота — вдвое. Когда в обучение вернули смесь полных кадров и фрагментов разных масштабов, провал почти исчез. Мелкие дефекты заметно прибавили, однако качество на крупных просело примерно вдвое.

Почему общий AP вводит в заблуждение

Большая вмятина на одном фрагменте выглядит не как целый объект, а как кусок без естественных границ. Разметка при этом обрывается по краю тайла. На инференсе один крупный дефект может превратиться в несколько масок, которые обычные NMS или NMM не объединят: соседние части почти не пересекаются, а значит, их IoU слишком мал.

Именно поэтому рост общей метрики нельзя считать победой. Если в тесте много мелких деталей кузова, их улучшение перекрывает регресс на крупных повреждениях. Без разбиения AP по размеру команда может выкатить модель с красивой средней цифрой, которая хуже решает важную часть реальной задачи.

Есть и статистическое ограничение. Некоторые классы представлены единицами примеров, а разброс между независимыми запусками на самых мелких объектах сопоставим с самим улучшением. Средний AP по восьми дефектным классам пока не превысил базовую модель. Это полезный инженерный эксперимент, но не доказательство универсального преимущества тайлинга.

Что проверить на своих данных

До обучения посчитайте размеры объектов после того ресайза, который используется в проде. Если лишь несколько процентов становятся меньше нескольких пикселей, нарезка, скорее всего, добавит вычислений и ошибок на границах без заметной пользы.

Если проблема реальна, начните с нарезки только на инференсе поверх готовой модели. Так вы быстро увидите потенциальный выигрыш без дорогого цикла обучения. Затем сравните полный кадр и тайлы отдельно, посчитайте AP для мелких, средних и крупных объектов, а также полноту у границ фрагментов.

Не выбрасывайте полные кадры из обучения. Смешивайте масштабы и проверяйте модель ровно в тех режимах, в которых она будет работать. Отдельно измерьте, сколько крупных объектов распалось на две и более маски. Практический вывод здесь не в том, что кадры всегда надо резать, а в том, что масштаб — часть контракта модели. Его нужно тестировать так же внимательно, как архитектуру и разметку.