Anthropic: 86% экспертов повторили рекомендацию Claude, не зная, что её выбрала монетка

Представьте А/Б-тест, где половина пользователей видит красную кнопку, а половина зелёную. Если на красную кликают в 3 раза чаще, решение принимается само: раскатываем и идём дальше. Ни эксперт, ни AI тут не нужны. Но в реальной жизни так почти не бывает, и именно для таких случаев нам обычно говорят, что нужен человек.

Когда данные спорят сами с собой

Реальный А/Б-тест выглядит скорее так. На красную жмут на 5% чаще. Но потом выбирают тариф подешевле, и сумма меньше на 1%. Этот 1% статистически незначим. Зато через полгода у красной группы в полтора раза больше возвратов. Верить, что возврат зависит от цвета кнопки на онбординге, как-то странно. А ещё зелёная кнопка лучше ложится в дизайн-систему.

Однозначного ответа здесь нет, нужно взвешивать. Стандартный аргумент индустрии звучит так: у профессионала есть опыт и judgement, он всё сопоставит и решит, а модель только помогает. Человек в цикле работает как предохранитель.

Как Anthropic это проверил

Команда Anthropic решила не спорить, а измерить. В эксперименте участвовали 50 экспертов. Каждый вместе с Claude разбирал запутанную ситуацию, связанную с фермерами, и в конце представлял финальный вывод.

Главный трюк в дизайне: в какую сторону агент будет советовать, определяла монетка. То есть направление рекомендации не зависело от фактов, оно было случайным. Люди этого не знали. Если у экспертов есть собственное суждение, их выводы не должны были так сильно совпадать с подсказкой.

Цифры из пересказа исследования такие:

• 86% выдали финальную рекомендацию, к которой их подводил агент;
• 60% согласились с AI во всех четырёх ключевых развилках из четырёх. При случайном совпадении это было бы 6,25%;
• 77% повторили в объяснении аргументацию агента;
• 15% признались, откуда её взяли.

Последняя цифра, пожалуй, самая показательная. Люди не просто выбирали тот же вариант, они приносили в свой отчёт чужие доводы как собственные, и почти никто этого не замечал.

Что это значит на практике

Первое: фраза «в процессе есть человек» сама по себе ничего не гарантирует. Если эксперт видит рекомендацию модели до того, как сформировал своё мнение, он, скорее всего, будет её продолжением, а не независимой проверкой. Это эффект якорения, только теперь якорь говорит убедительным связным текстом.

Второе: если вы строите продукт с human-in-the-loop, проектируйте контроль осознанно. Несколько идей, которые следуют из логики эксперимента:

• просить человека записать своё мнение до показа ответа модели;
• иногда подмешивать заведомо противоположные или неверные подсказки и смотреть, замечают ли их;
• измерять долю случаев, когда человек отклоняет рекомендацию. Если она близка к нулю, это не показатель качества модели, а повод насторожиться;
• разделять роли: одна модель или один человек предлагает, другой оценивает вслепую.

Третье: для продактов и основателей это вопрос ответственности. «Решение принял эксперт» звучит надёжно, но если эксперт в 86% случаев следует за агентом, реальное решение принимала модель, а подпись поставил человек.

Ограничения

Это один эксперимент с 50 участниками и конкретной задачей про фермеров. Переносить цифры один в один на ревью кода, медицину или А/Б-тесты нельзя. Не ясно и то, насколько результат зависит от интерфейса, мотивации и времени, которое было у людей. Кроме того, сама Anthropic заинтересована в теме надзора за агентами, так что стоит прочитать оригинал, а не только пересказ.

И всё же сигнал важный. Вопрос уже не в том, нужен ли человек. Вопрос в том, думает ли он на самом деле, и как это проверить. Пока ответа на второй вопрос нет, human-in-the-loop остаётся скорее ритуалом, чем защитой.