RAG по заводским спецификациям: 84% точности, но 161 опора вместо двух
Команда ПСМ загрузила в RAG 44 документа по газопоршневой электростанции AGBa1000 и проверила его на 188 вопросах: точность выросла с 77,7% до 84%. Но средний процент скрывает главное. Парсер склеил колонки скана, и вместо двух опор генератора ассистент увидел 161. Ещё одну ошибку модель допустила, приняв несуществующий топливный бак за реальный.
AI-обработка оригинала Habr AI; редакция Hamidun News
Типичная история корпоративного RAG: демо впечатляет, десять красивых ответов подряд, и кажется, что можно запускать. Команда ПСМ, которая делает ассистента для инженеров по документации на энергетическое оборудование, решила не доверять впечатлению и считать ошибки. Выяснилось, что «нашёл нужный документ» и «ответил правильно» — совсем разные вещи.
Что тестировали и как
Для пилота взяли газопоршневую электростанцию AGBa1000 мощностью 1 МВт. В базу знаний вошли 44 документа: 29 PDF, 12 Word и 3 Excel. Половина документов на русском, половина на английском, но по объёму индекса 94% фрагментов англоязычные: основные руководства написаны производителями комплектующих. Всего получилось 27 007 поисковых фрагментов.
Контрольный набор состоял из 188 вопросов с эталонными ответами: параметры оборудования, режимы работы, комплектация, регламенты ТО. Проверка автоматическая: сверка чисел с эталоном и оценка смысла независимой моделью. Это тест на сходимость, а не экспертная приёмка, и команда прямо об этом говорит.
Две правки подняли точность с 77,7% до 84%. Строки таблиц стали индексировать как самостоятельные факты, а модели начали передавать 10 фрагментов контекста вместо 5. Нужный документ в первой десятке выдачи теперь встречается в 96,3% случаев (было 94,1%), на первом месте — в 71,3% (было 62,8%). Ложные отказы «нет данных» упали с 11,7% до 6,9%.
Но внутри среднего числа есть нюанс: на 26 вопросов система стала отвечать правильно, а на 14 — хуже. Кроме того, когда специалисты завода сверили часть эталонов с первоисточниками, в 19 случаях ошибся сам эталон. Прежде чем спрашивать с модели, проверьте тестовые данные.
Три ошибки, которые не видны в проценте
161 опора. В базе было техническое письмо производителя генератора с таблицей: для 800–1120 кВт, газа и режима COP нужно 2 опоры. Ассистент сначала ответил, что данных нет. В другом прогоне парсер скана склеил соседние колонки: диапазон мощности превратился в 16 000–16 100 кВт, а число опор — в 161. LLM здесь не галлюцинировала, она добросовестно пересказала то, что ей подал индекс. Ошибка родилась на этапе парсинга.
Два документа без связи. На вопрос о ступенях нагрузки руководство по эксплуатации говорит только «ступенчато». Конкретные цифры (не более 10% до половины мощности и не более 5% выше) были в письме производителя двигателя, где станция AGBa1000 не упоминалась. Ассистент связь не провёл. При этом команда спорила, можно ли вообще переносить параметры «голого» двигателя на комплектный агрегат: на практике скорость приёма нагрузки зависит от качества газа, температуры и режима работы. Правильный ответ должен привести рекомендации производителя двигателя со ссылкой и явно оговорить границу применимости.
Несуществующий бак. Пользователя просили рассчитать автономность станции на полном топливном баке. Ассистент нашёл расход газа (161, 229 и 294 м³/ч), написал формулу и попросил объём бака. Но станция питается от газовой магистрали, и бака у неё нет. Система приняла ложную предпосылку и начала считать. Для ассистента, которым будут пользоваться менеджеры и сервисные специалисты, это серьёзный дефект.
Когда документы спорят друг с другом
Отдельная находка: официальные документы противоречат друг другу. В паспорте станции мощность в длительном режиме 1150 кВт, в документе производителя двигателя — 1280 кВт. Руководство предписывает менять свечи каждые 1500 моточасов, сервисная инструкция двигателя — через 5000.
Выбирать более свежий файл, брать самое частое значение или усреднять нельзя. Единственный разумный вариант — показать конфликт с указанием разделов и страниц и попросить подтверждения инженера. Так RAG превращается в инструмент первичного аудита документации, хотя устранять расхождения всё равно приходится людям.
Что из этого взять себе
Первое: сканированные таблицы нельзя отдавать общему текстовому парсеру. Индексируйте их построчно с сохранением заголовков колонок или валидируйте специализированными моделями. Построчная индексация подняла долю ответов с правильными числами с 70,8% до 78,3%, но сложные сканы с чертежами и рукописными пометками по-прежнему сбоят.
Второе: папка с файлами — не база знаний. Нужны явные связи между изделием, комплектующими, исполнениями и версиями документов, иначе найденный факт останется бесполезным.
Третье: учите ассистента замечать ошибочные предпосылки и конфликты источников. Иногда лучший ответ — объяснить, почему считать так нельзя.
И главное ограничение: 84% получены на автоматической проверке одной станции, часть эталонов оказалась неверной. Это хороший рабочий ориентир, но не доказательство готовности к продакшену. Для инженерной документации измеряйте не среднюю точность, а типы ошибок: именно они показывают, где проблема — в парсинге, связях между документами или логике ответа.
- 10 окт. 2026 г.Standard Bots учит промышленных роботов на демонстрациях и поправках с заводов
- 9 окт. 2026 г.Яндекс сообщил о сбоях Алисы после повреждения двух дата-центров
- 19 июл. 2026 г.Акции операторов колл-центров рухнули на опасениях по поводу угрозы от ИИ
- 12 нояб. 2026 г.Kuken Industries ищет чертёж запчасти за 4,5 минуты вместо часа через OpenAI API
Вопросы и ответы по материалу
Что известно по теме: что тестировали и как?
Для пилота взяли газопоршневую электростанцию AGBa1000 мощностью 1 МВт. В базу знаний вошли 44 документа: 29 PDF, 12 Word и 3 Excel. Половина документов на русском, половина на английском, но по объёму индекса 94% фрагментов англоязычные: основные руководства написаны производителями комплектующих. Всего получилось 27 007 поисковых фрагментов. Контрольный набор состоял из 188 вопросов с эталонными ответами: параметры оборудования, режимы работы, комплектация, регламенты ТО.
Что известно по теме: три ошибки, которые не видны в проценте?
161 опора. В базе было техническое письмо производителя генератора с таблицей: для 800–1120 кВт, газа и режима COP нужно 2 опоры. Ассистент сначала ответил, что данных нет. В другом прогоне парсер скана склеил соседние колонки: диапазон мощности превратился в 16 000–16 100 кВт, а число опор — в 161. LLM здесь не галлюцинировала, она добросовестно пересказала то, что ей подал индекс. Ошибка родилась на этапе парсинга. Два документа без связи.
Что известно по теме: когда документы спорят друг с другом?
Отдельная находка: официальные документы противоречат друг другу. В паспорте станции мощность в длительном режиме 1150 кВт, в документе производителя двигателя — 1280 кВт. Руководство предписывает менять свечи каждые 1500 моточасов, сервисная инструкция двигателя — через 5000. Выбирать более свежий файл, брать самое частое значение или усреднять нельзя. Единственный разумный вариант — показать конфликт с указанием разделов и страниц и попросить подтверждения инженера.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.