VIALS-AA: Gemini 4 Carbon решает 64% научных задач по картинкам, GPT-6.1 Sol в 30 раз дешевле

Если вы строите агента, который читает научные графики, гели или микрофотографии, вопрос не только в том, какая модель умнее. Важно, насколько стабильно она отвечает и во сколько это обходится. Artificial Analysis выпустила VIALS-AA, свою реализацию бенчмарка Handshake AI, и результаты заметно отличаются от привычных рейтингов.

Как устроен тест

В бенчмарке 161 задача по научным изображениям: гель-электрофорез, рестрикция плазмид, подсчёт гидрофобных контактов, филогенетические деревья, проточная цитометрия. Каждую задачу модель решает трижды в открытой обвязке Stirrup. У неё есть исполнение кода и инструмент просмотра картинок. Главная метрика — pass^3, то есть доля задач, где верными оказались все три прогона. Логика простая: в науке ответ, который меняется от запуска к запуску, ведёт к неверным выводам и дорогим повторным экспериментам.

Что показали результаты

Первое место у Gemini 4 Carbon (high) с 64%: он стабильно решил 103 задачи из 161. На втором месте GPT-6 Astra (max), на две задачи меньше. Парето-фронт по соотношению цены и качества образуют Gemini 4 Carbon, GPT-6 Luna, GPT-6.1 Sol, GPT-6.1 Terra и GPT-6 Astra.

Стоимость различается радикально. GPT-6 Luna стоит $0,02 за задачу, Grok 4.7 (xhigh) — $1,77. GPT-6.1 Sol набирает 59% за $0,06, а Claude Opus 5.5 с похожими 61% обходится примерно в тридцать раз дороже.

Вторая находка: усердие не равно точности. Claude Sonnet 5.5 и GPT-6.1 Sol набирают 60% и 59%, но Sonnet делает в 3,6 раза больше вызовов инструментов и тратит около 63,5 тыс. выходных токенов против примерно 2,5 тыс. у Sol. Claude активно измеряет: калибрует по лестнице маркеров, интерполирует молекулярную массу. GPT чаще полагается на беглый осмотр, и оба подхода работают.

Где модели ошибаются

На примере с пятном белка №22 Grok 4.7 потратил 27 шагов и 20 просмотров изображения, но ответил 50–70 кДа вместо верных 40–50. Судя по трассе, он привязался к подписи «22» и стрелке, а не к самому слабому пятну. Sonnet развёл их: подпись около 53 кДа, пятно около 48,7 кДа.

Ещё любопытнее эксперимент с GLM-5.3 без нативного зрения. Модель загружала картинку в массивы, пороговала области, гоняла OCR и печатала текстовые карты. GLM-5.3 (max) потратила 54 шага и 57 вызовов кода и ответила неверно. А облегчённая GLM-5.3-Flash с десятью просмотрами картинки справилась за 30 шагов.

Стабильность важнее разового успеха

Лучшие открытые модели вроде Kimi K3.1 Pro, MiMo-V2.6-Pro и MiniMax-M3.1-Flash решают хотя бы раз 114–119 задач, а семь лучших закрытых — 111–118. Но все три прогона проходят лишь на 48–73 задачах против 95–103. У Kimi K3.1 Pro pass^3 составляет 45%, у GPT-6 Astra 63%, хотя по pass@3 они близки.

Ещё деталь: на Gemini 3.8 Flash приходится 86,7% вызовов-«пустышек», где код используется как блокнот для рассуждений.

Что с этим делать

• Сравнивайте модели по pass^k, а не по лучшей из попыток. Для продакшена важна повторяемость.
• Считайте цену за задачу, а не за токен: разница между моделями со схожим качеством достигает 18–30 раз.
• Не считайте число шагов и инструментов признаком качества. Длинные трассы часто закрепляют первоначальную ошибку.
• Смотрите разбивку по доменам: Opus лидирует по блоттингу, Sonnet по подсчёту клеток, Terra по белковым структурам.

Ограничения: бенчмарк небольшой, 161 задача, а часть результатов получена на моделях, у которых нет публичного API. Оценка зависит от конкретной обвязки Stirrup, и в другой среде порядок может измениться. Но как пример честной оценки надёжности и стоимости агентов VIALS-AA полезен тем, кто выбирает модель для научных пайплайнов.