Claude обошёл экспертов в рецензировании: редакторы выбрали ИИ в 87% оценок

Вы подготовили отчёт об эксперименте, но перед отправкой руководству хочется получить неудобные вопросы: где вывод опережает данные, какое объяснение упущено, что стоит перепроверить. Гарвардские исследователи проверили похожую задачу на научных рукописях. Результат даёт повод попробовать Claude для первого критического разбора документов в команде. Например, попросить модель найти, чем ещё объясняется рост конверсии, прежде чем объявлять новый интерфейс победителем.

Что сравнивали в Гарварде

Гэри Кинг и Стивен Уортингтон использовали 124 рукописи и 134 экспертные рецензии сервиса rapidPeer. Это предварительный разбор перед отправкой статьи в журнал. Экспертам платили; 88% из 74 опрошенных авторов высоко оценили полученные отзывы. Claude Opus 4.8 подготовил альтернативные рецензии по рукописям и инструкциям: с веб-поиском и без внешних инструментов.

Три бывших редактора журналов вслепую оценили одинаковые десять пар рецензий. Они выбрали Claude в 26 из 30 оценок — примерно 87%. Рукописи редакторы при этом не проверяли. Отдельный судья GPT-5.5 предпочёл ИИ во всех 132 парах с определённым победителем в варианте с поиском; без поиска преимущество тоже сохранилось. Авторы не измеряли улучшение статей после замечаний. Работа опубликована как рабочее исследование на сайте Гарварда.

Для читателя здесь особенно существенен знаменатель: тридцать редакторских оценок относятся к десяти парам, которые смотрели три человека. Поэтому превращать результат в обещание «ИИ лучше любого эксперта в 87% задач» было бы слишком смело. Это результат конкретного сравнения рецензий.

Как применить идею к продуктовому отчёту

Представим условный пример. Команда поменяла экран регистрации и написала: «Конверсия выросла на 12%, выкатываем на всех». Продакт отправляет модели описание эксперимента, таблицу результатов и критерии принятия решения. Просьба — перечислить слабые места вывода, указать подтверждающие фрагменты документа и предложить проверки.

Полезный ответ здесь должен задавать конкретные вопросы. Пользователей распределяли случайно? Группы наблюдали одинаковое время? Рост на 12% относительный или речь о процентных пунктах? Не пришло ли в новую версию больше пользователей из другого рекламного канала? Это пример желаемого разбора, а не эпизод гарвардского эксперимента.

Затем аналитик проверяет замечания. Если распределение было случайным и это явно записано в приложении, претензия модели оказывается ошибкой. Если состав трафика действительно различался, команда получает причину пересмотреть вывод до запуска. Ценность такого помощника можно считать по найденным проблемам и времени на их проверку.

Разработчик может устроить аналогичный прогон для архитектурного предложения: приложить требования, ограничения и схему, попросить найти сценарии отказа. Основатель — проверить записку об экономике продукта на скрытые допущения. Каждый такой перенос требует собственной оценки: гарвардское сравнение само по себе ничего не говорит о качестве разбора вашей архитектуры или финансовой модели.

Что проверить перед внедрением

Начать удобно с нескольких завершённых проектов, где уже известны пропущенные проблемы. Подготовьте документы в том виде, в котором команда видела их до решения, и получите разбор модели. Попросите коллег оценить замечания без указания автора. Отдельно посчитайте подтверждённые находки, ложные претензии и затраты на проверку. Красиво написанная рецензия легко получает высокую оценку; найденная ошибка даёт более предметный критерий.

Для текущей работы полезен простой формат ответа: проблема, место в документе, возможное последствие, способ проверки. Он позволяет быстро перейти от чтения к действию. Если модель пишет «методология недостаточно убедительна», попросите назвать конкретное допущение и объяснить, какой результат заставит изменить вывод.

Гарвардский результат заслуживает внимания именно как повод поставить такой эксперимент у себя. Доступный первый разбор может помочь команде раньше заметить слабое место. Решение о внедрении стоит принимать после проверки на собственных документах: сколько полезных замечаний вы получили и сколько времени потратили, разбираясь с остальными.