OpenAI показала BioBasicsBench: GPT-6 Astra набрал 66,7% в анализе данных wet-lab

Если вы делаете ИИ-агента для науки, главный вопрос не в том, умеет ли он пересказывать статьи. Важно, может ли он посмотреть на мутную фотографию геля или чашки с колониями и честно сказать: «из этого вывод сделать нельзя». Именно это проверяет новый бенчмарк OpenAI BioBasicsBench, сделанный вместе с биотех-компанией Ligo.

Что внутри бенчмарка

В наборе 100 задач из пяти областей рутинной лабораторной работы: белковые методы, визуализация и цитометрия, количественные анализы, работа с нуклеиновыми кислотами и молекулярное клонирование. Данные сырые: гели и блоты, фото чашек, стеки микроскопии, FASTQ-файлы, экспорты плашечных ридеров, даже видео работы за столом.

Задачи писали учёные на данных собственных экспериментов. Каждую проверили внутренний рецензент Ligo, внешний специалист уровня PhD и ещё раз команда. Ответы оцениваются по рубрике экспертов: баллы дают за отдельные критерии, поэтому верный вывод с плохим рассуждением отличается от полностью верного ответа. Часть критериев проверяет, распознал ли агент, что данных недостаточно.

Оценили семь моделей в 37 настройках рассуждения, по пять попыток на задачу — всего 18 500 результатов.

Результаты

На настройке xhigh GPT-6 Astra получил 66,7% (доверительный интервал 60,3–73,1%), GPT-6.1 Sol — 62,0%, GPT-5.6 Sol — 43,8%, GPT-6 Luna — 38,3%, GPT-5.2 — 31,2%. Astra при этом тратит меньше токенов, около 4 700 на задачу против 9 100 у Sol. По версии OpenAI, ключевой фактор — более сильная нативная мультимодальность: Astra лучше видит детали на фото.

Примеры наглядные. На клонировании Sol увидел пустую контрольную чашку и принял её как хорошую контроль-проверку. Astra прочитала на ободке метку «Kan50», то есть канамицин вместо ампициллина, и отвергла контроль. В другой задаче Sol искал биологическое объяснение исчезающим клеткам, а Astra поняла, что это z-стек, то есть съёмка на разной глубине. В третьей Sol объявил клетки мёртвыми по сигналу красителя, хотя второй краситель перекрывался по спектру; Astra запросила дополнительные контроли.

Где модели всё ещё ломаются

OpenAI честно показывает и провалы Astra. Она правильно разделила группы колоний на геле, но перепутала, какая из них что означает, и выбрала колонии 4, 6, 7, 8 вместо эталонных 5, 9, 10. Привычное предположение «больший ПЦР-продукт значит успешное клонирование» перевесило контрольные дорожки. В другом случае она обобщила, что вакуоли темнее клетки, проигнорировав светлые вакуоли в том же поле, хотя сама отметила, что контраст зависит от фокуса. А при подсчёте колоний завысила результат примерно на 12%, что напрямую раздувает оценку эффективности трансформации.

Что с этим делать

Для команд, строящих научных агентов, вывод практичный. Во-первых, оценивайте не только финальный ответ, но и умение сказать «данных недостаточно»: это отдельный критерий рубрики. Во-вторых, не доверяйте агенту автоматический выбор образцов для следующего шага, как выбор колоний для очистки плазмиды: цена ошибки каскадная. В-третьих, подсчёт объектов на изображениях лучше проверять классическими инструментами или человеком.

Ограничения тоже стоит учитывать: бенчмарк небольшой, 100 задач, интервалы достаточно широкие, а оценку проводила сама OpenAI на собственных моделях, причём без сравнения с моделями других лабораторий. Тем не менее сам формат, основанный на неидеальных реальных данных с ловушками вроде неправильной метки, ближе к реальности, чем отобранные картинки из статей. Для продактов в биотехе это хороший шаблон для собственной внутренней оценки агентов.