Opper выпустил Jevman: языковые модели играют в Pac-Man по 100 партий

Стартап Opper выложил в открытый доступ бенчмарк Jevman, в котором шесть моделей с низкой задержкой играют в Pac-Man против ботов-призраков. Каждая модель сыграла по 100 партий, итоги собраны в публичном лидерборде, а репозиторий на GitHub позволяет добавить собственную модель в рейтинг. Одна партия для живого игрока обходится примерно в 2 цента. Проект появился на Hacker News в разделе Show HN и на момент публикации набрал 52 очка и 10 комментариев.

Что и как тестировали

Поводом для эксперимента авторы называют две недавние новинки. OpenAI запустила decisions endpoint, а Cloudflare за неделю до этого выпустила clef. Кроме них на рынке хватает других альтернативных моделей для быстрых решений, и сравнивать их хотелось на одной задаче. Pac-Man подошёл как простой и быстрый бенчмарк принятия решений: ход нужно выбрать сразу, пауза для размышлений игру не останавливает.

В рейтинг попали:

• jev 1.13
• kev
• clef
• clef flash
• GPT-6 Luna
• Laya

Параметры прогона из описания проекта:

• 100 партий на каждую модель
• соперники: боты-призраки
• режим: реальное время, возможный благодаря низкой задержке моделей
• результаты: публичный лидерборд
• код: открытый репозиторий opper-ai/jevman-benchmark
• стоимость партии для человека: около 2 центов

Числовых результатов в самом посте нет: места и средние очки опубликованы только в лидерборде. Авторы упоминают лишь, что побить рекорд jev удивительно трудно.

Почему игра, а не очередной тест

Статичные бенчмарки измеряют качество ответа. Здесь важнее другое: модель получает состояние поля, быстро выбирает действие и сразу видит последствия. Ошибка стоит жизни, а медленный ответ означает, что Pac-Man уже стоит не там, где нужно. Для моделей, которые продают как быстрые решатели в реальном времени, такая проверка ближе к практике, чем длинные тесты на рассуждение. Это наша интерпретация, авторы формулируют скромнее: игра просто хороший простой тест.

У подхода есть очевидные ограничения. Соперники это скриптовые боты, а не другие модели, и итоговый рейтинг зависит от их поведения. Сотня партий на модель даёт приличную выборку, но разброс между близкими участниками, например clef и clef flash, может оказаться в пределах статистической погрешности. Методику стоит читать в репозитории, а не по лидерборду.

Отдельно нужно помнить об интересе автора. Все модели запускаются через Opper, стартап самого автора поста. Это платформа-агрегатор и одновременно организатор сравнения. Открытый код отчасти снимает вопрос, потому что результаты можно перепроверить.

Как попробовать самому

У проекта два входа. Первый для разработчиков: в файле CONTRIBUTING есть раздел «Benchmark your own model», где описано, как запустить свою модель и попасть в лидерборд. Второй для всех остальных: можно сесть за Pac-Man лично, а призраками сделать модели. Их можно смешать или отдать роль целиком одной семейной линейке, будь то jev, kev или clef. Для новых пользователей добавлены бесплатные кредиты.

Практический вывод для тех, кто выбирает модель под агентов или игровые сценарии: сначала прогоните кандидата в этом бенчмарке и сравните его с рейтингом. Затем замерьте реальную задержку и цену запроса на своей нагрузке. Партия в 2 цента позволяет сделать это почти бесплатно. А если ваша модель не из списка, добавьте её в репозиторий и проверьте, держит ли она темп на фоне jev, чей рекорд, по словам авторов, побить непросто.