45% ИИ-отчётов получали тройку и ниже: как в Атоме нашли причины в промптах
В компании Атом 45% ИИ-отчётов по рабочим встречам получали от LLM-судьи в Langfuse тройку и ниже. Команда разобрала 56 таких отчётов вручную вместе с транскриптами. Выяснилось, что 45% провалов даёт промпт, ещё 36% — неподходящий тип встречи. Строгие правила против выдумок заставили модель терять настоящие задачи.
AI-обработка оригинала Habr AI; редакция Hamidun News
Когда команда AI LAB компании Атом впервые посмотрела на автоматические оценки ИИ-отчётов по рабочим встречам, картина была неприятной: 45% получали тройку и ниже. Чтобы понять, много это или нет, сначала пришлось научиться считать, кто вообще пользуется сервисом и что получает.
Сначала метрики использования
Начинали с вкладки в админке со списком тех, кто заходил в Транскрибатор. Она показывала интерес, но не то, что пользователь сделал дальше. Потом добавили посетителей, активных и новых пользователей, число проектов и расшифрованных файлов. Затем определили «ценностные действия»: скачивание документа, получение транскрипта, просмотр ИИ-отчёта дольше минуты, обратная связь, ответ чата по встрече. Всё остальное, включая короткие визиты, считается служебным.
После этого добавили DAU, WAU, MAU и «липкость» (DAU к MAU). Главный сигнал дало среднее число ценностных действий на активного пользователя: с апреля по август оно выросло с 3,4 до 6,8, хотя аудитория увеличилась в разы. Значит, рост не держался на любопытстве. Доля посетителей, совершивших хотя бы одно действие, держится выше 80%. Липкость в 10–25% для такого инструмента нормальна: люди приходят после встреч, ритм скорее недельный.
Отдельно команда вывела метрики-противовесы: число ошибок транскрибации и долю неуспешных вызовов. Без них дашборд показывает только приятную картинку. Для слоя стоимости считают цену запроса, задержки p50 и p95 и доступность относительно SLO. Один отчёт обходится меньше чем в 100 рублей, час встречи обрабатывается около 15 минут.
Что показал разбор плохих оценок
Качество отчётов оценивает отдельная модель-судья в Langfuse по пятибалльной шкале. Исследовательские встречи, для которых структуру делали вместе с UX-исследователями, стабильно получают четвёрки и пятёрки. С остальными хуже: из 374 отчётов по рабочим встречам с 3 июля по 22 сентября 168 получили три и ниже. Вручную прочитали 56 вместе с транскриптами и для каждого написали эталон более сильной моделью.
Причины распределились так: промпт суммаризации — 45%, встреча вообще не «рабочая» (демо, статус-синк) — 36%, плохие исходные данные — 12%, ошибка самого судьи — 7%. Чаще всего терялся главный вывод встречи (28 из 56), в задачи попадал мусор вроде «расшарить экран», разделы противоречили друг другу.
Интересный эффект: когда правила ужесточили, чтобы модель не выдумывала поручения, она начала выбрасывать настоящие. Появились отчёты «нет активных задач» при назначенном дедлайне. Правило «лучше не написать, чем выдумать» без противовеса просто сдвигает ошибку в другую сторону.
Что из этого взять себе
Во-первых, заранее договоритесь, что считать полезным действием для каждого продукта. Единого определения активного пользователя нет: если ревью кода запускается автоматически, активен ли тот, кто ничего не нажимал?
Во-вторых, не доверяйте среднему баллу LLM-судьи. Прочитайте хотя бы полсотни худших случаев целиком и разложите причины по категориям. Часть «плохих» оценок окажется проблемой типа документа или судьи, а не промпта.
В-третьих, версионируйте промпты и проверяйте правки на эталонах, иначе улучшение одного дефекта незаметно создаст другой.
- 30 апр. 2026 г.OpenAI объяснила происхождение «гоблинов» в GPT-5: как баг личности попал в модель
- 17 мая 2026 г.Anthropic переходит на потребительский рынок с Claude
- 19 июл. 2026 г.Midjourney vs Nano Banana Pro vs FLUX 2 Max: сравнение нейросетей для картинок 2026
- 9 окт. 2026 г.Магистральная пропускная способность интернета выросла на 23% до 2259 Тбит/с
Вопросы и ответы по материалу
Что известно по теме: сначала метрики использования?
Начинали с вкладки в админке со списком тех, кто заходил в Транскрибатор. Она показывала интерес, но не то, что пользователь сделал дальше. Потом добавили посетителей, активных и новых пользователей, число проектов и расшифрованных файлов. Затем определили «ценностные действия»: скачивание документа, получение транскрипта, просмотр ИИ-отчёта дольше минуты, обратная связь, ответ чата по встрече. Всё остальное, включая короткие визиты, считается служебным. После этого добавили DAU, WAU, MAU и «липкость» (DAU к MAU).
Что известно по теме: что показал разбор плохих оценок?
Качество отчётов оценивает отдельная модель-судья в Langfuse по пятибалльной шкале. Исследовательские встречи, для которых структуру делали вместе с UX-исследователями, стабильно получают четвёрки и пятёрки. С остальными хуже: из 374 отчётов по рабочим встречам с 3 июля по 22 сентября 168 получили три и ниже. Вручную прочитали 56 вместе с транскриптами и для каждого написали эталон более сильной моделью.
Что известно по теме: что из этого взять себе?
Во-первых, заранее договоритесь, что считать полезным действием для каждого продукта. Единого определения активного пользователя нет: если ревью кода запускается автоматически, активен ли тот, кто ничего не нажимал? Во-вторых, не доверяйте среднему баллу LLM-судьи. Прочитайте хотя бы полсотни худших случаев целиком и разложите причины по категориям. Часть «плохих» оценок окажется проблемой типа документа или судьи, а не промпта.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.