RWB не заменила OCR-пайплайн одной VLM: 400 млн картинок в день и семь этапов
Команда модерации RWB каждый день гоняет через OCR около 400 млн изображений из 35 млн карточек товаров. Казалось бы, одна VLM могла бы заменить цепочку моделей, но в проде это ломается на скорости, памяти, геометрии текста и добавлении новых языков. Поэтому текст читает многоступенчатый пайплайн, а Qwen3-VL работает лишь контролёром на доле процента трафика.
AI-обработка оригинала Habr AI; редакция Hamidun News
Все привыкли к мысли, что трансформер умеет всё: подаёшь картинку, получаешь текст. Но у команды «Платформа модерации» в Wildberries (RWB) другая картина. Через их модерацию ежедневно проходит больше 35 млн карточек товаров, а через OCR примерно 400 млн изображений. Больше 90% потока составляют именно фото карточек. И читает их не одна большая модель, а пайплайн из нескольких этапов.
Зачем OCR в модерации и почему «одна модель» не проходит
Текст с картинки здесь не самоцель, а вход для проверок. По нему ищут контакты в обход площадки, запрещённые слова и препараты в составе. Карточки при этом хаотичные: пёстрый фон, диагональные и дугообразные надписи, вертикальный текст, несколько письменностей на одном фото. RWB работает больше чем в 10 странах, так что мультиязычность обязательна.
Два кандидата на роль «одной модели» команда рассматривала всерьёз. Большая VLM вроде Qwen3-VL символы читает хорошо, но на таком потоке упирается в память и скорость. Компактная end-to-end модель вроде GLM-OCR (меньше миллиарда параметров) по скорости ближе к пайплайну. Вопрос в другом: можно ли её так же точечно чинить и развивать?
VLM в итоге нашла себе работу в другом месте. Она запускается параллельно на крошечной доле трафика, считает метрики и ищет корнеркейсы для основного пайплайна. Это внутренний ревизор, а не рабочая лошадка.
Где end-to-end ломается в эксплуатации
Геометрия. Прямоугольной рамки детектора для дуг и диагоналей мало, поэтому в RWB используют сегментатор. Он отдаёт маску текста, по форме которой определяется тип кропа: горизонтальный просто вырезают, наклонный доворачивают, вертикальный разворачивают, искривлённый выпрямляют. Для кривых строк оценивают среднюю линию и строят TPS-преобразование (thin plate spline) с адаптивным числом опорных точек. Если плохо читается текст на дуге, чинят только этот блок и не трогают остальное. В одной модели все эти шаги происходят неявно, и проверить можно только итоговый ответ.
Языки. На русский приходится около 80% трафика, остальные языки заметно меньше. Если дообучать общую модель на новом языке, качество на старых, включая русский, может просесть. Средняя метрика этого почти не покажет, а в проде это превратится в тысячи ошибок. Подмешивание старых данных и адаптеры риск снижают, но не гарантируют изоляцию, и перед каждым релизом всё равно приходится перепроверять все языки.
В пайплайне эту проблему решает классификатор письменности. Он текст не читает, а только выбирает ветку распознавания для каждого кропа. Сейчас таких веток больше пяти, схожие языки объединяют в группы. Новый язык получает свой рекогнайзер, свой golden dataset и отдельную выкатку. Веса русской модели остаются прежними, так что доказывать отсутствие регрессии на основном потоке не нужно. Кропы одной ветки можно батчить и обрабатывать параллельно, а ресурсы распределять по реальному трафику. End-to-end модель, напротив, генерирует весь текст токен за токеном.
Порядок чтения и координаты. Карточка товара не страница книги: текст лежит островками, плашками и бейджами. Если читать слева направо и сверху вниз, получится «3шт, МНОГО, БЕЗ, МИНИМУМ, БЕЛКА, ГЛЮТЕНА, УГЛЕВОДОВ». Кластеризация близких боксов даёт нормальное «3шт / МНОГО БЕЛКА / БЕЗ ГЛЮТЕНА / МИНИМУМ УГЛЕВОДОВ». В пайплайне это отдельный алгоритм с понятными правилами. Если порядок неверный, виноват он, а не рекогнайзеры.
Координаты тоже часть контракта. Они нужны, чтобы понять источник сигнала (товар или маркетинговая плашка) и замазать персональные данные на фото. У VLM бокс генерируется вместе с текстом, и на изображениях с более чем двадцатью боксами, по проверкам команды, ошибки уже очевидны. Текст модель может назвать верно, но геометрии как доказательству для бана карточки доверять нельзя.
Что из этого забрать себе
Главный вывод в том, что вопрос не «VLM или пайплайн», а «где вам нужна наблюдаемость и изоляция изменений». Если у вас большой поток, неравномерные языки и решения с последствиями, модульность даёт три вещи:
- ошибку можно локализовать на конкретном этапе;
- новую функциональность можно выкатывать, не перепроверяя всё остальное;
- ресурсы масштабируются по реальному трафику, а не по самому тяжёлому сценарию.
Универсальная модель при этом остаётся полезной как независимый судья качества на малой доле трафика.
Ограничения тоже есть. Пайплайн сложнее в поддержке, требует нескольких моделей и классификатора, который может путать близкие письменности. Для таких случаев авторы советуют объединять языки в группу, если цена ошибки маршрутизации выше потери качества. Если у вас пара тысяч сканов в день и один язык, большая VLM, скорее всего, проще и дешевле. Но когда речь о сотнях миллионов изображений и модерации, прозрачность и контроль важнее элегантности «одной модели».
- 28 апр. 2026 г.Как автор Habr превратил семь сценариев n8n в автономную AI-новостную систему
- 26 окт. 2026 г.Anthropic заменила Git своей системой Scion: 7 инженеров и Claude за 5 месяцев
- 28 окт. 2026 г.Исследователи выложили датасет из 100 тысяч статей с картинками и тест из 7 метрик
- 2 мая 2026 г.Как подключить нейросеть к базе знаний: семь шагов без галлюцинаций
Вопросы и ответы по материалу
Что известно по теме: зачем OCR в модерации и почему «одна модель» не проходит?
Текст с картинки здесь не самоцель, а вход для проверок. По нему ищут контакты в обход площадки, запрещённые слова и препараты в составе. Карточки при этом хаотичные: пёстрый фон, диагональные и дугообразные надписи, вертикальный текст, несколько письменностей на одном фото. RWB работает больше чем в 10 странах, так что мультиязычность обязательна. Два кандидата на роль «одной модели» команда рассматривала всерьёз. Большая VLM вроде Qwen3-VL символы читает хорошо, но на таком потоке упирается в память и скорость.
Что известно по теме: где end-to-end ломается в эксплуатации?
Геометрия. Прямоугольной рамки детектора для дуг и диагоналей мало, поэтому в RWB используют сегментатор. Он отдаёт маску текста, по форме которой определяется тип кропа: горизонтальный просто вырезают, наклонный доворачивают, вертикальный разворачивают, искривлённый выпрямляют. Для кривых строк оценивают среднюю линию и строят TPS-преобразование (thin plate spline) с адаптивным числом опорных точек. Если плохо читается текст на дуге, чинят только этот блок и не трогают остальное.
Что известно по теме: что из этого забрать себе?
Главный вывод в том, что вопрос не «VLM или пайплайн», а «где вам нужна наблюдаемость и изоляция изменений». Если у вас большой поток, неравномерные языки и решения с последствиями, модульность даёт три вещи: ошибку можно локализовать на конкретном этапе; новую функциональность можно выкатывать, не перепроверяя всё остальное; ресурсы масштабируются по реальному трафику, а не по самому тяжёлому сценарию. Универсальная модель при этом остаётся полезной как независимый судья качества на малой доле трафика.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.