GPT-6 Astra обыграла Claude Opus 5.5 в «Мафии»: рейтинг 1859 против 1549

Большинство бенчмарков проверяют, умеет ли модель решить задачу. Почти никто не проверяет, умеет ли она не поверить собеседнику на слово. Для агентов, которые ведут переговоры, читают чужие отчёты или общаются с другими агентами, это куда более практичный навык. Подкастер Дваркеш Патель решил измерить его в лоб: потратил 20 000 долларов на API и устроил турнир среди 11 моделей по игре Blood on the Clocktower.

Как устроена игра

Blood on the Clocktower — усложнённый аналог «Мафии». Есть ведущий, который раздаёт тайные роли и сам ни за кого не играет. Меньшинство — злые: демон и двое помощников. Они с самого начала знают, кто есть кто. Добрых больше, но они не знают ничего, даже кто в их команде.

У добрых есть способности, которые ночью тайно дают правдивые подсказки. Например, один игрок узнаёт роль другого, а другой выясняет, сколько злых сидит рядом с ним. Днём все разговаривают, и добрым нужно собрать подсказки в общую картину и вычислить демона. Злые тем временем выдают выдуманные подсказки за настоящие. В конце дня голосованием казнят одного подозреваемого или никого. Добрые побеждают, если казнён демон, злые — если в живых осталось двое.

Чтобы эксперимент был чистым, одна модель играла сразу за весь лагерь добрых, другая за весь лагерь злых, а потом они менялись ролями. Так удалось отдельно измерить два навыка: находить ложь и создавать обман.

Что показал турнир

После 386 раундов первое место заняла GPT-6 Astra с рейтингом 1859. Claude Opus 5.5 набрал 1549. Разрыв есть по обоим навыкам. В выявлении лжи рейтинги 1940 и 1500, в создании обмана 1806 и 1585.

Отдельные партии выглядят почти по-человечески. Astra, играя за злых, хладнокровно сдала собственного союзника на казнь, чтобы втереться в доверие и довести свою сторону до победы. Opus 5.5 за добрых поверил сопернику на слово там, где GPT заподозрила подвох, перепроверила улики и вычислила обманщика.

Если смотреть на модели, выпущенные за этот год, картина такая: OpenAI быстрее прогрессирует в распознавании дезинформации, у Anthropic успехи на этом направлении скромнее. В навыке обмана обе компании развиваются примерно в одном темпе.

Ограничения и что с этим делать

Сразу оговорки. Это одна игра, один автор и один набор правил. Рейтинг в Clocktower не равен общей «надёжности» модели, а разница в сотни пунктов не гарантирует такого же разрыва в вашем продукте. Кроме того, модель играла сразу за целый лагерь, чего в реальной жизни почти не бывает.

Практический вывод для тех, кто строит агентов. Если ваш агент принимает информацию от других агентов, пользователей или из внешних источников, проверьте, насколько легко его обмануть. Паттерн «поверил на слово» в этой игре стоил Opus 5.5 партий, а в продакшене он обернётся ошибочными действиями. Отдельно стоит замерять способность модели перепроверять факты, а не только качество ответов на статичных вопросах.

Второй вывод касается безопасности. Модели, которые хорошо врут, уже есть, и растёт это умение у обеих компаний примерно одинаково. Значит, в системах с несколькими агентами нужны независимые проверки, а не доверие к словам соседнего агента.

Третий плюс: проект открыт. Код лежит на GitHub, есть сайт бенчмарка и онлайн-версия, где можно сыграть против ИИ самому. Для команд, которые выбирают модель под агентные сценарии, это недорогой способ добавить в свой набор тестов проверку на манипуляции и устойчивость к обману.