Мультимодальные агенты теряют до 53% успеха при сборке модулей в систему

Почти безошибочный классификатор еще не делает агента надежным. Это, пожалуй, главный практический вывод из свежей подборки работ о мультимодальных моделях и роботах. В одном из исследований отдельный модуль распознавал нужный тип запроса с точностью 99,84%, но собранная система полностью соблюдала требования лишь в 47,08% сложных сценариев.

Проблема знакома каждому, кто строил продукт из нескольких AI-компонентов. Распознавание сработало, поиск нашел документ, модель выбрала инструмент — а пользователь все равно получил неправильный результат. Ошибка возникает не обязательно внутри одного модуля. Она появляется на стыках: агент неверно понял намерение, вызвал неподходящий инструмент, пропустил проверку или сделал правильные шаги в неправильном порядке.

Точность деталей не равна надежности системы

Хороший пример — SkinAgent AI, помощник по уходу за кожей, который анализирует фотографию, уточняет запрос и подбирает средства. Авторы специально ограничили его немедицинскими рекомендациями: система не должна ставить диагнозы и обязана учитывать правила безопасности.

Отдельные компоненты выглядели убедительно. Классификатор тематических запросов показал точность 99,84%. Но на внутреннем наборе из 240 комплексных заданий агент правильно определял намерение пользователя в 80% случаев, выбирал точный набор инструментов в 62,92%, а полностью проходил сценарий без нарушения требований только в 47,08% случаев.

Представьте службу поддержки, где оператор почти всегда правильно определяет тему обращения, но затем в половине случаев открывает не ту форму, забывает проверить данные или преждевременно закрывает заявку. Высокая точность первого шага здесь мало утешает.

Для продуктовой команды вывод простой: измерять нужно не только качество распознавания, поиска или генерации. Нужна сквозная метрика — доля задач, завершенных правильно, безопасно и без пропущенных шагов. Причем тесты должны включать неоднозначные запросы, сбои инструментов и данные, которых не было в демонстрациях разработчиков.

Внутренние метрики тоже могут обманывать

Другая работа проверила распространенную идею: если внутренние представления текста и изображения похожи, значит модель действительно использует картинку. Исследователи заменяли изображение случайным шумом. Качество ответов резко падало, но некоторые показатели «согласованности» продолжали демонстрировать высокое сходство.

Иными словами, прибор показывал норму даже после исчезновения полезного сигнала. Для разработчика это предупреждение: красивые графики из скрытых слоев нельзя принимать за доказательство того, что модель понимает изображение. Такие показатели следует проверять вместе с результатом на реальной задаче. Полезный минимальный тест — убрать изображение, заменить его шумом или подать противоречивую картинку и посмотреть, изменится ли ответ ожидаемым образом.

Симулятор — полигон, а не приемка

В робототехнических работах coding-агенты сами писали программы для планирования движений и в ряде сред достигали 56–95% успешных выполнений против 47% у обычного планировщика. Это серьезный сигнал: агент способен экспериментировать, уточнять правила среды и переносить найденную программу на новые расстановки объектов.

Но испытания проходили преимущественно в симуляции, где агент видел точное состояние предметов. Настоящая камера ошибается в глубине, закрывает объекты и меняет оценку координат при другом освещении. Поэтому результат нельзя напрямую переносить на склад или производственную линию.

Та же осторожность нужна при оценке голосовой проверки фактов. Одна система достигла точности 86,1%, однако тестировалась на речи, синтезированной одним голосом, без реального фонового шума. Для подкастов, интервью и прямых эфиров это пока прототип, а не готовая гарантия качества.

Практический вывод один: стройте оценку вокруг полного пользовательского сценария. Проверяйте соединения между модулями, намеренно портите входные данные и отдельно маркируйте результаты из симуляции. Именно там, между эффектной демонстрацией и рабочим продуктом, сегодня теряется большая часть надежности AI-систем.