HiSTEVE 1.0 играет в Minecraft мышью и клавиатурой: 85,0% на MineStudio Bench
Исследователи, представляющие Tencent на Hugging Face, выпустили HiSTEVE 1.0 — иерархического VLA-агента для Minecraft. Он видит только картинку с экрана и управляет игрой клавиатурой и мышью, как человек. Ни API окружения, ни скрытых игровых состояний, ни заранее написанных навыков. На MineStudio Bench агент набрал 85,0%, на OpenHA — 37,4% среднего успеха. Он также собирает железную кирку с нуля, сам планируя цепочку подзадач.
AI-обработка оригинала Hugging Face Daily Papers; редакция Hamidun News
Исследователи, публикующиеся под брендом Tencent на Hugging Face, представили HiSTEVE 1.0 — агента, который проходит длинные задачи в Minecraft так, как это делает живой игрок: смотрит на экран, жмёт клавиши и двигает мышь. На MineStudio Bench система набрала 85,0%, а на OpenHA показала 37,4% среднего успеха. Кроме атомарных задач агент целиком выполняет длинные цепочки, например крафт железной кирки с нуля. Работа вышла 22 октября 2026 года (arXiv 2610.31162) и сразу попала на второе место в дневном рейтинге Hugging Face Daily Papers.
Разрыв, который закрывают авторы
До сих пор агенты для Minecraft делились на два лагеря. Одни умеют нативное визуомоторное управление, то есть работают с пикселями и реальными кнопками, но не тянут долгие задачи без вмешательства. Другие хорошо планируют на высоком уровне, зато выполняют план через API среды или набор предопределённых навыков и фактически пользуются «читерскими» привилегиями вроде доступа к внутреннему состоянию игры. HiSTEVE пытается соединить обе половины: автономное планирование и исполнение через тот же интерфейс, что и у человека.
Архитектура двухуровневая. Наверху сидит так называемый capability-aware agent harness, оркестратор, который знает, на что способна нижняя модель. Внизу работает единая VLA-политика, которая исполняет все подзадачи, опираясь только на зрение.
Оркестратор, который знает пределы исполнителя
У оркестратора три рабочих узла. Структурированная память отслеживает прогресс по задаче. VLM-планировщик выбирает подзадачи, ограничивая себя возможностями VLA: он не просит политику сделать то, чего она не умеет. Третий узел — детектор завершения подзадачи, связанный с контекстом политики (policy-coupled task completion detector). Он подаёт сигнал о кандидатном завершении, и на его основе агент решает, идти ли дальше, восстанавливаться после сбоя или перепланировать. В описании также упомянуто восстановление исполнения на основе свидетельств (evidence-driven execution recovery).
Один VLA на геймплей и меню
Главная инженерная проблема нижнего уровня в том, что игра от первого лица и работа с GUI (инвентарь, крафт) — разные режимы взаимодействия, и они мешают друг другу в одной модели. Авторы развели их двумя приёмами: отдельными ветками RMSNorm для каждого режима и раздельными токен-эмбеддингами для движений мыши.
Обучение идёт в три стадии: внедрение знаний о мире (world knowledge injection), имитационное обучение и обучение с подкреплением на обратной связи среды. По словам авторов, последняя стадия повышает надёжность и умение восстанавливаться после ошибок.
Состав системы и метрики
- Тип агента: иерархический Vision-Language-Action, только визуальное восприятие, нативные действия клавиатуры и мыши
- Оркестрация: структурированная память, VLM-планировщик с учётом возможностей VLA, детектор завершения подзадач с привязкой к контексту политики
- Управление: одна VLA-политика для всех подзадач, включая GUI
- Архитектурные изменения: режимно-специфичные ветки RMSNorm, отдельные эмбеддинги токенов движения мыши
- Обучение: world knowledge injection, имитационное обучение, RL с обратной связью среды
- MineStudio Bench: 85,0%, заявлен state-of-the-art для атомарных задач
- OpenHA: 37,4% среднего успеха
- Длинная задача: железная кирка с нуля
- Авторы: Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai
Где это пригодится
Минимальная привилегия среды важна не только для Minecraft. Агент, которому нужен лишь экран и стандартный ввод, переносится на любую игру или десктопное приложение без интеграции с внутренним API. Это та же логика, что стоит за computer-use агентами, только на более жёстком полигоне с процедурной генерацией мира и долгим горизонтом.
Для разработчиков агентов полезны два вывода. Планировщик стоит привязывать к реальному набору умений исполнителя, а не к абстрактной «всемогущей» модели. А гетерогенные режимы ввода, вроде меню и сцены, лучше разводить на уровне нормализации и эмбеддингов, чем надеяться, что одна общая политика справится сама. Цифры 85,0% и 37,4% пока относятся к конкретным бенчмаркам, и проверять их предстоит независимым воспроизведением.
- 12 нояб. 2026 г.ИИ-агенты перепроверили 2000+ статей ICML 2026 и нашли ошибки, пропущенные рецензентами
- 12 нояб. 2026 г.Восемь стран и OpenAI с Anthropic обещают «рубильник» для ИИ-моделей, но без сроков и штрафов
- 12 нояб. 2026 г.Hugging Face предупреждает: волна взломов может сделать open-source ИИ менее открытым
- 12 нояб. 2026 г.OpenAI построила Control Room: рубильник для моделей, которые вышли из песочницы
Вопросы и ответы по материалу
Что известно по теме: разрыв, который закрывают авторы?
До сих пор агенты для Minecraft делились на два лагеря. Одни умеют нативное визуомоторное управление, то есть работают с пикселями и реальными кнопками, но не тянут долгие задачи без вмешательства. Другие хорошо планируют на высоком уровне, зато выполняют план через API среды или набор предопределённых навыков и фактически пользуются «читерскими» привилегиями вроде доступа к внутреннему состоянию игры.
Что известно по теме: оркестратор, который знает пределы исполнителя?
У оркестратора три рабочих узла. Структурированная память отслеживает прогресс по задаче. VLM-планировщик выбирает подзадачи, ограничивая себя возможностями VLA: он не просит политику сделать то, чего она не умеет. Третий узел — детектор завершения подзадачи, связанный с контекстом политики (policy-coupled task completion detector). Он подаёт сигнал о кандидатном завершении, и на его основе агент решает, идти ли дальше, восстанавливаться после сбоя или перепланировать.
Что известно по теме: один VLA на геймплей и меню?
Главная инженерная проблема нижнего уровня в том, что игра от первого лица и работа с GUI (инвентарь, крафт) — разные режимы взаимодействия, и они мешают друг другу в одной модели. Авторы развели их двумя приёмами: отдельными ветками RMSNorm для каждого режима и раздельными токен-эмбеддингами для движений мыши. Обучение идёт в три стадии: внедрение знаний о мире (world knowledge injection), имитационное обучение и обучение с подкреплением на обратной связи среды.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.