Sixtyfour: Y Combinator стартап, который оценивает каждый вывод AI-агента

Stартап Sixtyfour, основанный Saarth Shah и Christopher Price, представил концептуально новый подход к разработке AI-агентов для исследований. Компания, пройдя через инкубатор Y Combinator, разработала систему, которая противостоит доминирующей в индустрии практике: вместо запуска языковой модели на веб-данные и слепого доверия результатам, Sixtyfour построила rigorous evaluation stack. Каждый релиз исследовательского агента проходит через строгую систему оценок: проверяется против набора вопросов, которые специалисты подготовили вручную, и в production попадает только код, который доказанно улучшает финальные метрики качества.

Почему слепое доверие LLM недостаточно

Большинство современных AI-инструментов для поиска и анализа информации работают по простой схеме: указать языковую модель на веб-источники, получить ответ и считать его верным. Скорость реализации таких систем высокая, но надёжность остаётся под вопросом. Языковые модели склонны галлюцинировать — выдумывать факты, которых нет в источниках. Они могут неправильно интерпретировать текст, особенно если информация противоречива или требует вычисления. Иногда модель создаёт логические циклы, которые выглядят убедительно, но не выдерживают проверки.

Saarth Shah, основатель Sixtyfour, решил избрать противоположный путь: контролировать каждый шаг агента. Он ведёт точный scoreboard — буквально таблицу, в которой фиксируется качество каждой версии агента. Если скор улучшается, версия выпускается в production. Если скор падает, команда откатывает изменения, анализирует, в чём была ошибка, и переделывает логику или параметры. Это радикально отличается от привычного подхода «выпустить и надеяться на лучшее».

Как работает оценочная система

Ядро Evaluation Stack Sixtyfour — набор контрольных вопросов, которые подготовили вручную специалисты с опытом в исследовании и анализе данных. Эти вопросы отражают реальные сценарии работы: поиск точной информации в больших объёмах текста, анализ статьи на предмет фактических ошибок, синтез данных из нескольких источников, проверка утверждений через перекрёстный поиск.

Каждый новый build (версию) исследовательского агента запускают против этого набора контрольных вопросов. Система фиксирует три критически важных параметра: дал ли агент правильный финальный ответ? Насколько ответ полный и детальный? Есть ли в рассуждениях агента логические ошибки или галлюцинации? На основе этих параметров считается итоговый скор качества.

Методология похожа на unit-тестирование в классической разработке ПО, но применённая к качеству суждений AI-агента вместо корректности кода. Если разработчик вносит улучшение в prompt или архитектуру агента, это улучшение должно не снижать общий скор на контрольном наборе. Идеально — оно должно скор улучшать. Это гарантирует, что каждое изменение в production не портит надёжность системы.

Человеческий контроль над машинным суждением

Критически важная деталь философии Sixtyfour: система оценок остаётся в руках людей, а не целиком доверяется языковым моделям. Вопросы для контрольного набора подготавливают люди — специалисты, которые понимают реальные риски и граничные случаи. Это снижает риск cascade failures — ситуации, когда ошибка поколения моделей N порождает скрытые ошибки в поколении N+1, потому что модель натренировалась на данных с ошибками.

Что это означает для индустрии

Подход Sixtyfour указывает на переломный момент в разработке AI-агентов. Индустрия постепенно переходит от маркетинговых утверждений («наш агент самый умный») к объективным, reproducible метрикам качества. Это переход из эры обещаний в эру доказательств.

Особенно это критично для критичных применений исследования и анализа: финансовые прогнозы, медицинские рекомендации, юридический анализ документов — области, где ошибка агента стоит дорого или может нанести вред человеку.

Другие стартапы и исследовательские лаборатории, вероятно, будут вдохновлены методологией Sixtyfour. Но более широко: вопрос валидации и оценки AI-агентов — это не узкая бизнес-проблема одного стартапа, а систематическая проблема всей индустрии разработки больших языковых моделей и их агентских применений.