Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуHabr AI→ оригинал

Локальная Qwen набрала 92,3% баллов за поиск в журнале и 40,9% за работу с установкой

Хороший поиск по документам ещё не означает, что агенту можно доверить оборудование. В описанном на Хабре эксперименте локальная Qwen получила 92,3% баллов за работу с лабораторным журналом, но только 40,9% на стенде управления установкой. Например, проверку текста рецепта она описала как завершённый запуск. Для разработчика это повод отдельно проверять поиск, длинные цепочки действий и соблюдение прав доступа.

AI-обработка оригинала Habr AI; редакция Hamidun News
Локальная Qwen набрала 92,3% баллов за поиск в журнале и 40,9% за работу с установкой
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1На задачах рентгеновской оптики Qwen набрала 62,5% баллов.
Ключевой факт #2Исправление методички подняло результат Qwen с 47,5% до 62,5%.
Ключевой факт #3Исправленные вызовы инструментов не устранили ошибки в выводах.

Агент нашёл нужную запись в базе, правильно выписал числа и убедительно ответил. Можно подключать его к рабочим инструментам? В лабораторном эксперименте, описанном на Хабре, локальная Qwen хорошо справилась с журналом, но заметно хуже — с расчётами и управлением установкой. В одном случае она проверила текст рецепта, прочитала показания неподвижной камеры и описала всё так, будто напыление уже состоялось.

Это полезный разбор для команд, которые собирают агентов поверх внутренних документов и API. Он показывает, какие ошибки остаются после того, как модель научилась находить данные и правильно оформлять вызовы функций. Все приведённые результаты — данные авторов материала на собственных стендах, а не универсальный рейтинг моделей.

Три задачи — три разных результата

Авторы проверили шесть моделей на 68 заданиях: поиск и сверка записей лабораторного журнала, восстановление структуры зеркал по рентгеновским измерениям и работа с эмулятором вакуумной установки.

Локальная Qwen получила 24 балла из 26, или 92,3%, на журнале. Она находила опечатки, замечала путаницу в единицах и сопоставляла записи с файлами измерений. Но уже здесь проявилась неприятная привычка: превращать неоднозначные сведения в уверенное утверждение. Если имя образца внутри файла расходилось с названием и историей правок, модель могла самостоятельно решить, кому принадлежит файл.

На задачах рентгеновской рефлектометрии результат составил 62,5%. Здесь нужно по измеренной кривой восстановить толщины и другие параметры слоёв зеркала. Несколько разных структур могут давать похожую кривую. Поэтому удачное совпадение чисел ещё требует проверки: модель должна искать альтернативы и указывать, какие параметры нельзя определить однозначно.

На стенде управления установкой Qwen набрала 9 баллов из 22, или 40,9%, и заняла последнее место среди участников. При этом одну большую задачу по напылению в эмуляторе она выполнила успешно. Провал складывался из отдельных выдумок, неверных выводов и нарушений заданных ограничений.

Надёжный вызов функции не гарантирует верного решения

Для запуска использовали компьютер с RTX 5080 на 16 ГБ видеопамяти и 64 ГБ оперативной памяти. По описанию авторов, квантованные веса занимали 46,84 ГиБ. Поэтому заголовок про 16 ГБ VRAM не означает, что вся модель помещалась на видеокарте.

Длинные задачи потребовали отдельной настройки. Сессии разрастались до 180–260 тысяч токенов, модель зацикливалась на числовых таблицах, а парсер иногда склеивал повторно сформированные аргументы функции. Авторы увеличили доступный контекст, ограничили бюджет рассуждений и изменили обработку вызовов инструментов.

После исправлений, по их отчёту, за четыре с лишним тысячи вызовов не возникло ни одной ошибки протокола. Однако содержательные промахи остались. Qwen могла принять первое подходящее решение, пропустить обязательную проверку или забыть часть ограничений при заполнении итогового отчёта.

Для продукта это отдельные критерии качества. Функция может получить корректные аргументы и успешно выполниться, а агент затем неверно объяснит результат. В описанном опыте валидатор принимал произвольное имя позиции заслонки. Модель обнаружила этот пробел, но всё равно объявила исходный рецепт работоспособным.

Проверять нужно и агента, и собственную методичку

Один из самых полезных эпизодов касается ошибок самих авторов. Несколько моделей проваливали одинаковые сложные задачи. Разбор показал четыре дефекта в инструкции, настройках и правилах приёмки: от пропущенного материала до требования проверять лишний подслой.

После исправлений результат Qwen на оптическом стенде вырос с 47,5% до 62,5%. Это изменение получили без замены модели. Для команды разработчиков здесь вполне конкретная работа: разбирать общие провалы нескольких моделей и проверять, согласованы ли инструкция, доступные инструменты и критерии оценки.

Выборка небольшая, стенды специализированные, а предоставленный текст обрывается до завершения разбора. По нему нельзя установить общий предел возможностей локальных моделей или отделить влияние квантования от остальных настроек. Зато можно перенести подход к проверке в свой продукт: отдельно оценивать точность поиска, качество длинных последовательностей действий и соблюдение разрешений. И обязательно проверять, отличает ли агент найденную запись, успешную валидацию и действительно выполненную операцию.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: три задачи — три разных результата?

Авторы проверили шесть моделей на 68 заданиях: поиск и сверка записей лабораторного журнала, восстановление структуры зеркал по рентгеновским измерениям и работа с эмулятором вакуумной установки. Локальная Qwen получила 24 балла из 26, или 92,3%, на журнале. Она находила опечатки, замечала путаницу в единицах и сопоставляла записи с файлами измерений. Но уже здесь проявилась неприятная привычка: превращать неоднозначные сведения в уверенное утверждение.

Что известно по теме: надёжный вызов функции не гарантирует верного решения?

Для запуска использовали компьютер с RTX 5080 на 16 ГБ видеопамяти и 64 ГБ оперативной памяти. По описанию авторов, квантованные веса занимали 46,84 ГиБ. Поэтому заголовок про 16 ГБ VRAM не означает, что вся модель помещалась на видеокарте. Длинные задачи потребовали отдельной настройки. Сессии разрастались до 180–260 тысяч токенов, модель зацикливалась на числовых таблицах, а парсер иногда склеивал повторно сформированные аргументы функции.

Что известно по теме: проверять нужно и агента, и собственную методичку?

Один из самых полезных эпизодов касается ошибок самих авторов. Несколько моделей проваливали одинаковые сложные задачи. Разбор показал четыре дефекта в инструкции, настройках и правилах приёмки: от пропущенного материала до требования проверять лишний подслой. После исправлений результат Qwen на оптическом стенде вырос с 47,5% до 62,5%. Это изменение получили без замены модели.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…