Redwood Research: ИИ ускоряет их работу в 2–3 раза, а не в 5–10, как у Anthropic

Все привыкли к красивой цифре: ИИ ускоряет разработку ИИ. Но когда цифра превращается в конкретный рабочий понедельник, выясняется, что у разных команд она заметно разная. Исследователь из Redwood Research задал неудобный вопрос: если у Anthropic всё так хорошо, почему у нас с теми же моделями не получается?

Откуда вообще взялись 5–10x

Недавно METR оценил, что Anthropic получает общее ускорение прогресса возможностей моделей в 1,7 раза благодаря тому, что ИИ помогает в их собственной работе. Это общий результат, и он подразумевает, что сами исследования ускорились намного сильнее. Аджея Котра предполагает около 10x, сотрудники Anthropic называли примерно 12x. Про Mythos 5 исследователи компании говорили о 5x. Внешним командам доступна Opus 5.5, которая, по словам автора, чуть лучше.

Из этого автор делает простой вывод. Если ИИ ускоряет и исследования по безопасности, то внутренние специалисты Anthropic должны работать примерно в 10 раз быстрее, а внешние в 5 раз уже сейчас. Причём у внешних есть преимущество: они могут быстро нарастить расход вычислений. Redwood хорошо финансируется и охотно увеличил бы траты в 5 раз, если бы появилось в 5 раз больше экспериментов. Поэтому ускорение труда должно превращаться в такое же ускорение проектов.

На практике автор оценивает свой прирост скорее в 2–3 раза. Это уже много, но не 5x.

Три версии, почему так

Мы плохо внедрили ИИ. Возможно. Но команда активно использует агентов, в основном Claude Code и недавно Claude Tag, и у неё есть собственная обвязка для автономных исследований, которая давала опубликованные результаты. Слабые места известны: Claude порой принимает «совершенно безумные» решения, которые обесценивают весь результат, и плохо пишет итоговый отчёт. Если бы у Anthropic была обвязка, радикально повышающая полезность моделей, её, скорее всего, превратили бы в продукт. Хотя возможен и особый внутренний инструментарий, который наружу не отдают. Автор считает, что дело скорее в фундаментальных ограничениях моделей, чем в обвязке.

Задачи разные. Возможно, исследования возможностей лучше поддаются ускорению. Например, если главное препятствие в экспериментах с новой архитектурой — её эффективная реализация, то сильная сторона модели бьёт ровно туда. Один сотрудник Anthropic сказал автору, что возможности ускорены заметно сильнее, чем их краткосрочная работа по выравниванию.

Упёрлись в суждение. Значительную часть исследований в Redwood делают стажёры и младшие сотрудники, которые тесно работают с менеджером над приоритетами. Исполнители могли реально разогнаться, но теперь им не хватает времени менеджера, чтобы понять, чем они занимаются. В Anthropic, возможно, больше самостоятельных сеньоров или задачи требуют меньше тонких решений.

Есть и пример настоящего скачка. Расследование Райана по Hugging Face было ускорено «дико» благодаря плотной работе с агентами: проект включал чтение огромного объёма материалов, а сам Райан хорошо умеет выстраивать агентные процессы.

Что из этого следует практикам

Во-первых, цифры ускорения нельзя переносить между командами. Одна и та же модель даёт 10x там, где задача хорошо проверяется и есть опытные люди, и 2–3x там, где нужны тонкие решения и ручной контроль. Если вы внедряете агентов, смотрите на узкие места: проверка результатов, отчёты, время старших сотрудников.

Во-вторых, главный риск — агент, который уверенно ломает методологию. Быстрые эксперименты бесполезны, если часть выводов недействительна. Нужны автоматические проверки и человек, который читает не только итог, но и ход работы.

В-третьих, у гипотезы есть проверяемое следствие. Если эмпирическая работа по безопасности действительно ускоряется в 5–10 раз, скоро должен заметно вырасти поток ценных публикаций от внешних исследователей. Автор прямо пишет: если на самых «ускоряемых» задачах прироста не будет, он решит, что исследователи делают что-то не так. Кроме того, он ссылается на опрос Arcadia Impact, где сторонние специалисты по самоотчётам оценили ускорение примерно в 1,6x.

Ограничения очевидны: это рассуждение одного исследователя, а не измерение. Самооценки скорости известно ненадёжны, а сами данные Anthropic, по признанию автора, сначала казались ему плохо обоснованными. Но сам вопрос полезен: заявленный буст — это свойство модели или свойство команды, задач и процессов вокруг неё?