ИИ-агент сократил медиану решения заявок с 22 часов до 22 минут
ИИ-агент в службе поддержки сократил медианное время до фактического решения заявки с 21 часа 52 минут до 22 минут. Но формальное закрытие всё ещё занимало 49 часов, а два из десяти ответов после обновления стали быстрее и хуже. Главный урок кейса: скорость и статус «решено» нельзя принимать за качество без проверки содержания ответа.
AI-обработка оригинала Habr AI; редакция Hamidun News
Цифра выглядит почти неприлично хорошо: после запуска ИИ-агента медианное время до фактического решения обращения сократилось с 21 часа 52 минут до 22 минут — примерно в 59 раз. Но именно такие результаты опаснее всего принимать без разбора.
Команда изучила 1 876 закрытых обращений до запуска и 3 078 после него. Это не контролируемый эксперимент: различались темы, объём потока и количество массовых инцидентов. Поэтому кейс не доказывает, что весь эффект создал агент. Зато он хорошо показывает, как измерять работающую автоматизацию и где красивые метрики начинают врать.
Закрытая заявка ещё не означает решённую проблему
В CRM обращение могло оставаться открытым двое суток после того, как пользователь получил рабочую инструкцию за 12 минут. Бывала и обратная ситуация: статус карточки менялся, хотя содержательного ответа ещё не было.
Поэтому команда считала точкой решения последний полезный ответ агента или инженера до технического хвоста. Благодарность пользователя, автоматическое закрытие, смена статуса, запрос логов и внутренний комментарий сами по себе решением не считались.
Разница получилась огромной. После запуска медиана фактического решения составила 22 минуты, а формального закрытия — 49 часов 2 минуты. При этом длинный хвост не исчез: 90% обращений получили решение за 76 часов 36 минут. Одна медиана легко спрятала бы тяжёлые случаи.
Из 3 078 закрытых заявок агент решил 1 647, ещё 743 передал инженерам, остальные 688 не проходили через агентный контур. Однако долю в 53,5% нельзя читать как «агент заменил инженера в половине случаев». Ему заранее отдавали темы с понятной диагностикой, доступными данными и безопасным сценарием. Сложные случаи чаще оставались людям.
Быстрее иногда означает хуже
После очередного обновления команда повторно прогнала десять старых заявок, не отправляя ответы клиентам. В пяти случаях новая версия ответила лучше, в двух — примерно так же, в одном результат оказался смешанным, а в двух стал хуже. Оба ухудшившихся ответа появились быстрее прежних.
В одном примере агент перестал исправлять очевидные опечатки в кодах объектов. Строгий поиск защищал от ложных совпадений, но не понимал разницу между цифрой 0, латинской O и кириллической О. Формально поведение стало безопаснее и воспроизводимее, а для пользователя — менее полезным.
Исправлением стал ограниченный перебор допустимых замен. Система проверяет только заранее заданные варианты и принимает исправление, если найдено единственное совпадение. При нескольких совпадениях агент просит уточнение. Это практичный компромисс между догадкой модели и бесполезной строгостью.
Что проверять в продакшене
Первое правило — разделять результат инструмента и его статус. Пустой ответ может означать, что записи нет, но также тайм-аут, недоступность сервиса, недостаток прав или неполные данные. Агент не должен превращать неудачную проверку в уверенный диагноз.
Второе — не разрешать модели выдавать правдоподобную техническую деталь за установленный факт. Название таблицы, поля или API допустимо включать в ответ только тогда, когда оно найдено в текущих данных, документации или проверенной схеме.
Третье — поддерживать регрессионный набор реальных обращений. Его нужно пополнять после каждого нового класса ошибки и прогонять при изменении промпта, инструментов, поиска или порядка источников. Оценивать стоит отдельно правильность служебного действия и качество ответа человеку.
Практический вывод простой: внедрение агента не заканчивается релизом и высокой долей автоматических решений. Нужны медиана и 90-й процентиль времени до полезного ответа, разбор эскалаций, явные статусы инструментов и постоянные регрессионные проверки. Иначе команда рискует не устранить ошибку, а лишь научить систему совершать её быстрее.
- 12 нояб. 2026 г.Claude in Chrome требует разрешать каждый клик на сайтах с категорией 3
- 12 нояб. 2026 г.Norwest собрал рекордный фонд на $4 млрд и ставит на агентов, голос и физический ИИ
- 12 нояб. 2026 г.AWS показала, как 100% точности поиска скрывают провал ИИ-агента
- 12 нояб. 2026 г.Garage Eight убрала чужие апрувы в 69 MR внутреннего сервиса с AI-ревью
Вопросы и ответы по материалу
Что известно по теме: закрытая заявка ещё не означает решённую проблему?
В CRM обращение могло оставаться открытым двое суток после того, как пользователь получил рабочую инструкцию за 12 минут. Бывала и обратная ситуация: статус карточки менялся, хотя содержательного ответа ещё не было. Поэтому команда считала точкой решения последний полезный ответ агента или инженера до технического хвоста. Благодарность пользователя, автоматическое закрытие, смена статуса, запрос логов и внутренний комментарий сами по себе решением не считались. Разница получилась огромной.
Что известно по теме: быстрее иногда означает хуже?
После очередного обновления команда повторно прогнала десять старых заявок, не отправляя ответы клиентам. В пяти случаях новая версия ответила лучше, в двух — примерно так же, в одном результат оказался смешанным, а в двух стал хуже. Оба ухудшившихся ответа появились быстрее прежних. В одном примере агент перестал исправлять очевидные опечатки в кодах объектов. Строгий поиск защищал от ложных совпадений, но не понимал разницу между цифрой 0, латинской O и кириллической О.
Что известно по теме: что проверять в продакшене?
Первое правило — разделять результат инструмента и его статус. Пустой ответ может означать, что записи нет, но также тайм-аут, недоступность сервиса, недостаток прав или неполные данные. Агент не должен превращать неудачную проверку в уверенный диагноз. Второе — не разрешать модели выдавать правдоподобную техническую деталь за установленный факт. Название таблицы, поля или API допустимо включать в ответ только тогда, когда оно найдено в текущих данных, документации или проверенной схеме.
От чтения про ИИ-агентов — к запуску своего агента за вечер
Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.