Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

RAG по заводским спецификациям: 84% точности, но 161 опора вместо двух

Команда ПСМ загрузила в RAG 44 документа по газопоршневой электростанции AGBa1000 и проверила его на 188 вопросах: точность выросла с 77,7% до 84%. Но средний процент скрывает главное. Парсер склеил колонки скана, и вместо двух опор генератора ассистент увидел 161. Ещё одну ошибку модель допустила, приняв несуществующий топливный бак за реальный.

AI-обработка оригинала Habr AI; редакция Hamidun News
RAG по заводским спецификациям: 84% точности, но 161 опора вместо двух
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Сканы таблиц индексируйте построчно, вместе с шапкой колонок
Ключевой факт #2Связывайте станцию, двигатель и версии документов явно
Проверяйте эталоныв 19 случаях ошибся не AI, а тест

Типичная история корпоративного RAG: демо впечатляет, десять красивых ответов подряд, и кажется, что можно запускать. Команда ПСМ, которая делает ассистента для инженеров по документации на энергетическое оборудование, решила не доверять впечатлению и считать ошибки. Выяснилось, что «нашёл нужный документ» и «ответил правильно» — совсем разные вещи.

Что тестировали и как

Для пилота взяли газопоршневую электростанцию AGBa1000 мощностью 1 МВт. В базу знаний вошли 44 документа: 29 PDF, 12 Word и 3 Excel. Половина документов на русском, половина на английском, но по объёму индекса 94% фрагментов англоязычные: основные руководства написаны производителями комплектующих. Всего получилось 27 007 поисковых фрагментов.

Контрольный набор состоял из 188 вопросов с эталонными ответами: параметры оборудования, режимы работы, комплектация, регламенты ТО. Проверка автоматическая: сверка чисел с эталоном и оценка смысла независимой моделью. Это тест на сходимость, а не экспертная приёмка, и команда прямо об этом говорит.

Две правки подняли точность с 77,7% до 84%. Строки таблиц стали индексировать как самостоятельные факты, а модели начали передавать 10 фрагментов контекста вместо 5. Нужный документ в первой десятке выдачи теперь встречается в 96,3% случаев (было 94,1%), на первом месте — в 71,3% (было 62,8%). Ложные отказы «нет данных» упали с 11,7% до 6,9%.

Но внутри среднего числа есть нюанс: на 26 вопросов система стала отвечать правильно, а на 14 — хуже. Кроме того, когда специалисты завода сверили часть эталонов с первоисточниками, в 19 случаях ошибся сам эталон. Прежде чем спрашивать с модели, проверьте тестовые данные.

Три ошибки, которые не видны в проценте

161 опора. В базе было техническое письмо производителя генератора с таблицей: для 800–1120 кВт, газа и режима COP нужно 2 опоры. Ассистент сначала ответил, что данных нет. В другом прогоне парсер скана склеил соседние колонки: диапазон мощности превратился в 16 000–16 100 кВт, а число опор — в 161. LLM здесь не галлюцинировала, она добросовестно пересказала то, что ей подал индекс. Ошибка родилась на этапе парсинга.

Два документа без связи. На вопрос о ступенях нагрузки руководство по эксплуатации говорит только «ступенчато». Конкретные цифры (не более 10% до половины мощности и не более 5% выше) были в письме производителя двигателя, где станция AGBa1000 не упоминалась. Ассистент связь не провёл. При этом команда спорила, можно ли вообще переносить параметры «голого» двигателя на комплектный агрегат: на практике скорость приёма нагрузки зависит от качества газа, температуры и режима работы. Правильный ответ должен привести рекомендации производителя двигателя со ссылкой и явно оговорить границу применимости.

Несуществующий бак. Пользователя просили рассчитать автономность станции на полном топливном баке. Ассистент нашёл расход газа (161, 229 и 294 м³/ч), написал формулу и попросил объём бака. Но станция питается от газовой магистрали, и бака у неё нет. Система приняла ложную предпосылку и начала считать. Для ассистента, которым будут пользоваться менеджеры и сервисные специалисты, это серьёзный дефект.

Когда документы спорят друг с другом

Отдельная находка: официальные документы противоречат друг другу. В паспорте станции мощность в длительном режиме 1150 кВт, в документе производителя двигателя — 1280 кВт. Руководство предписывает менять свечи каждые 1500 моточасов, сервисная инструкция двигателя — через 5000.

Выбирать более свежий файл, брать самое частое значение или усреднять нельзя. Единственный разумный вариант — показать конфликт с указанием разделов и страниц и попросить подтверждения инженера. Так RAG превращается в инструмент первичного аудита документации, хотя устранять расхождения всё равно приходится людям.

Что из этого взять себе

Первое: сканированные таблицы нельзя отдавать общему текстовому парсеру. Индексируйте их построчно с сохранением заголовков колонок или валидируйте специализированными моделями. Построчная индексация подняла долю ответов с правильными числами с 70,8% до 78,3%, но сложные сканы с чертежами и рукописными пометками по-прежнему сбоят.

Второе: папка с файлами — не база знаний. Нужны явные связи между изделием, комплектующими, исполнениями и версиями документов, иначе найденный факт останется бесполезным.

Третье: учите ассистента замечать ошибочные предпосылки и конфликты источников. Иногда лучший ответ — объяснить, почему считать так нельзя.

И главное ограничение: 84% получены на автоматической проверке одной станции, часть эталонов оказалась неверной. Это хороший рабочий ориентир, но не доказательство готовности к продакшену. Для инженерной документации измеряйте не среднюю точность, а типы ошибок: именно они показывают, где проблема — в парсинге, связях между документами или логике ответа.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что тестировали и как?

Для пилота взяли газопоршневую электростанцию AGBa1000 мощностью 1 МВт. В базу знаний вошли 44 документа: 29 PDF, 12 Word и 3 Excel. Половина документов на русском, половина на английском, но по объёму индекса 94% фрагментов англоязычные: основные руководства написаны производителями комплектующих. Всего получилось 27 007 поисковых фрагментов. Контрольный набор состоял из 188 вопросов с эталонными ответами: параметры оборудования, режимы работы, комплектация, регламенты ТО.

Что известно по теме: три ошибки, которые не видны в проценте?

161 опора. В базе было техническое письмо производителя генератора с таблицей: для 800–1120 кВт, газа и режима COP нужно 2 опоры. Ассистент сначала ответил, что данных нет. В другом прогоне парсер скана склеил соседние колонки: диапазон мощности превратился в 16 000–16 100 кВт, а число опор — в 161. LLM здесь не галлюцинировала, она добросовестно пересказала то, что ей подал индекс. Ошибка родилась на этапе парсинга. Два документа без связи.

Что известно по теме: когда документы спорят друг с другом?

Отдельная находка: официальные документы противоречат друг другу. В паспорте станции мощность в длительном режиме 1150 кВт, в документе производителя двигателя — 1280 кВт. Руководство предписывает менять свечи каждые 1500 моточасов, сервисная инструкция двигателя — через 5000. Выбирать более свежий файл, брать самое частое значение или усреднять нельзя. Единственный разумный вариант — показать конфликт с указанием разделов и страниц и попросить подтверждения инженера.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…