X5 Tech и Т-Банк дообучили визуальный поиск: ColQwen3 достигла 0,84 nDCG@5
В корпоративных PDF нужный ответ часто спрятан в таблице или графике, а извлечённый текст теряет связи между числами и подписями. Авторы из X5 Tech и Т-Банка дообучили визуальный поиск на автоматически созданных и проверенных запросах к страницам. На закрытом тестовом корпусе ColQwen3-2B получила 0,84 nDCG@5 против 0,77 у лучшей текстовой модели.
AI-обработка оригинала Хабр: Машинное обучение; редакция Hamidun News
Если ваш поиск по корпоративным PDF находит слова из отчёта, но пропускает нужную таблицу, причина может быть в подготовке документов. При извлечении текста исчезают расположение ячеек, связь подписей с графиками и другие подсказки, которые человек считывает со страницы за секунды. Роман Макеев из X5 Tech и Егор Мачнев из Т-Банка описали работу над визуальным поиском, который учитывает такие документы как изображения страниц.
Главный результат из опубликованного анонса: дообученная ColQwen3-2B получила 0,84 nDCG@5 на закрытом корпусе X5-private. Лучшая текстовая модель в сравнении набрала 0,77. Для команды, которая строит поиск или RAG по сложным PDF, это повод проверить, сколько ответов теряется ещё до передачи документов языковой модели.
Зачем поиску видеть страницу
Представим отчёт о продажах. Пользователь спрашивает: «В каком регионе сильнее всего снизилась выручка?» Ответ находится в диаграмме: названия регионов стоят под столбцами, значения указаны рядом, период вынесен в заголовок. После извлечения текста эти элементы могут превратиться в последовательность слов и чисел, в которой трудно восстановить связи.
Это условный пример, а не описанный авторами тест. Но он объясняет практическую задачу визуального поиска: использовать внешний вид страницы там, где одного текста недостаточно. Такой подход особенно интересно проверять на презентациях, отчётах и документах с плотной вёрсткой. При этом сама найденная страница ещё не гарантирует правильного ответа: следующему компоненту системы нужно верно прочитать её содержимое.
В статье рассматриваются ColPali и ColQwen3, а также их адаптация к русскоязычному предметному корпусу. Из доступного анонса нельзя заключить, что любая визуальная модель обойдёт любой текстовый поиск. Подтверждён более узкий результат: конкретная дообученная модель показала лучший показатель в приведённом сравнении на одном закрытом наборе документов.
Обучающие запросы создают автоматически
Для адаптации поисковой модели нужны примеры того, какие запросы должны приводить к каким документам. Ручное составление таких примеров требует времени сотрудников, которые понимают содержание страниц и реальные задачи пользователей.
Авторы предлагают методологию, в которой документы становятся основой для автоматической генерации и проверки запросов к страницам. Составлять обучающие запросы вручную не требуется. Это наиболее полезная для переноса часть работы: команда получает способ готовить данные для своего предметного корпуса, а не только выбирать готовую модель по чужому рейтингу.
Однако автоматическая проверка сама требует оценки. Из анонса неясно, как именно она устроена, какие ошибки отбрасывает и насколько созданные запросы похожи на реальные обращения пользователей. Для внедрения стоит вручную просмотреть выборку: запрос должен иметь ответ на странице, соответствовать рабочей задаче и не выдавать ответ собственной формулировкой.
Что означает преимущество и как его проверить
nDCG@5 оценивает качество порядка первых пяти результатов с учётом их релевантности. Значение 0,84 нельзя читать как «84% правильных ответов». Разница с 0,77 составляет 0,07 пункта метрики; она характеризует выдачу поиска, а не точность всей системы ответов.
Авторы отдельно указывают, что X5-private не участвовал в обучении. Это существенная деталь, но закрытый корпус ограничивает независимую проверку. В анонсе также нет данных о размере выборки, статистической устойчивости преимущества, задержке и стоимости обработки документов.
Практический следующий шаг — собрать небольшой тест из собственных запросов и страниц с проверенными ответами. Сравните текущий текстовый поиск с визуальным на одинаковых документах, отдельно выделив таблицы, графики и обычный текст. Затем измерьте время индексации, скорость выдачи и качество итогового ответа. Если улучшение сосредоточено в сложных страницах, появится основание выбирать подход для разных типов документов. Решение о внедрении стоит принимать по этому измерению, а не по одному числу из чужого корпуса.
Источник: анонс статьи на Хабре.
- 28 апр. 2026 г.Hugging Face объяснила дообучение мультимодальных эмбеддингов и reranker-моделей
- 28 окт. 2026 г.Т-Банк заменил рой LLM одной 32B-моделью и удешевил запросы в 2,8–3,9 раза
- 9 июл. 2026 г.ИИ в банкинге: внедрение AI-финтеха для технологических стартапов
- 2 нояб. 2026 г.Метка «нет эталонных документов» потеряла точность с 0,68 до 0,10 на сильных ретриверах
Вопросы и ответы по материалу
Что известно по теме: зачем поиску видеть страницу?
Представим отчёт о продажах. Пользователь спрашивает: «В каком регионе сильнее всего снизилась выручка?» Ответ находится в диаграмме: названия регионов стоят под столбцами, значения указаны рядом, период вынесен в заголовок. После извлечения текста эти элементы могут превратиться в последовательность слов и чисел, в которой трудно восстановить связи. Это условный пример, а не описанный авторами тест.
Что известно по теме: обучающие запросы создают автоматически?
Для адаптации поисковой модели нужны примеры того, какие запросы должны приводить к каким документам. Ручное составление таких примеров требует времени сотрудников, которые понимают содержание страниц и реальные задачи пользователей. Авторы предлагают методологию, в которой документы становятся основой для автоматической генерации и проверки запросов к страницам. Составлять обучающие запросы вручную не требуется.
Что известно по теме: что означает преимущество и как его проверить?
nDCG@5 оценивает качество порядка первых пяти результатов с учётом их релевантности. Значение 0,84 нельзя читать как «84% правильных ответов». Разница с 0,77 составляет 0,07 пункта метрики; она характеризует выдачу поиска, а не точность всей системы ответов. Авторы отдельно указывают, что X5-private не участвовал в обучении. Это существенная деталь, но закрытый корпус ограничивает независимую проверку.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.