Исследователи создали стартап Sequent: выравнивание ИИ идёт не по плану

Группа AI-исследователей основала стартап Sequent с жёстким публичным заявлением: работа по выравниванию искусственного интеллекта с человеческими ценностями идёт не по плану. Это один из редких случаев, когда люди изнутри системы открыто говорят о её системных недостатках.

Почему возник

Sequent Основатели стартапа — выходцы из UK AI Security Institute и ряда других исследовательских организаций — ставят прямой диагноз: академическое сообщество и крупные коммерческие лаборатории системно недоинвестируют в ключевые направления safety-исследований. Дело не в отсутствии деклараций о безопасности — они есть у всех крупных игроков. Проблема глубже: деньги и внимание идут туда, где уже есть измеримый результат и понятный горизонт публикации, а не туда, где без инвестиций результата вообще не появится.

UK AI Security Institute — один из немногих государственных институтов в мире, специально созданных для оценки рисков продвинутых AI-систем. То, что его выходцы идут основывать независимый стартап, говорит кое-что важное: даже внутри институционального ответа на проблему alignment люди видят структурные ограничения, которые нельзя обойти изнутри. Sequent декларирует принципиально иной подход.

Стартап будет поддерживать «портфель недофинансированных исследовательских ставок» — направлений с высоким риском, долгим горизонтом или отсутствием немедленной коммерческой отдачи. По сути, это венчурная логика, применённая к академической safety-повестке.

Что стоит за диагнозом Фраза «alignment is not on track» — не маркетинговый слоган.

За ней стоит конкретный тезис: возможности систем ИИ растут быстрее, чем наше понимание того, как они работают и как их надёжно контролировать. Разрыв между тем, что модели умеют, и тем, что мы про них знаем, последовательно расширяется. В сообществе AI safety принято выделять несколько слоёв проблемы, которые Sequent намерен атаковать: Интерпретируемость — мы не понимаем, как именно модели принимают решения внутри «чёрного ящика» Масштабирование — более мощные модели ведут себя непредсказуемо по сравнению с меньшими версиями, экстраполяция не работает Спецификация целей — крайне сложно убедиться, что модель реально оптимизирует то, что мы намерены, а не суррогатный показатель Робастность — поведение в нераспределённых условиях часто разительно расходится с тренировочным режимом * Агентность — автономные системы, действующие в реальном мире, порождают принципиально новые классы рисков ## FrontierCode и синтетические ассистенты В том же выпуске Import AI — два дополнительных материала.

FrontierCode — новый бенчмарк для оценки кода, генерируемого большими языковыми моделями. Его принципиальное отличие от предшественников: задачи взяты из реальных производственных репозиториев, а не специально синтетически сгенерированы для тестирования. Это делает оценку значительно ближе к реальной инженерной практике и затрудняет «натаскивание» модели под конкретный бенчмарк.

Второй сюжет — эксперименты с «синтетическими исследовательскими стажёрами». AI-агенты берут на себя рутинные задачи в научных лабораториях: поиск и резюмирование литературы, первичный анализ данных, подготовку черновиков разделов статей. Исследователи проверяют, насколько такие агенты способны ускорить научный процесс, не снижая качества и не привнося систематических ошибок в выводы.

Что это значит

Появление Sequent — сигнал: часть исследовательского сообщества убеждена, что текущий мейнстрим в AI safety не справляется с масштабом и скоростью проблемы. Крупные лаборатории инвестируют в безопасность, но прежде всего — в направления, совместимые с коммерческими и регуляторными целями. Независимый стартап с явно декларированной миссией может заполнить структурные пробелы, которые системно остаются без внимания. Справится ли небольшая команда с ресурсным неравенством в конкуренции с Anthropic или Google DeepMind — вопрос пока открытый.