Парадокс ИИ-разработки: почему на чистом листе скорость растёт на 55%, а в зрелом коде падает на 19%

На одних конференциях показывают слайды про двукратный рост скорости с ИИ-ассистентами, а на других цитируют отчёты о том, что нейросети тормозят сеньоров. Парадокс в том, что оба утверждения опираются на строгие рандомизированные контролируемые испытания (RCT) с посекундным замером времени, и оба верны.

В эксперименте Peng и коллег из Microsoft Research, GitHub и MIT Sloan (arXiv:2302.06590) 95 разработчикам дали задачу написать с нуля HTTP-сервер на JavaScript под готовые автотесты. С ИИ-автодополнением участники справились за 71,2 минуты против 160,9 минуты в контрольной группе — на 55,8% быстрее. А в июле 2025 года группа METR (arXiv:2507.09089) провела зеркальный RCT на 16 опытных мейнтейнерах и 246 реальных боевых задачах в их собственных зрелых репозиториях (в среднем 1,1 млн строк кода, 10 лет истории проекта и 5 лет личного стажа участника — около 1 500 коммитов). С ИИ-инструментами разработчики тратили на задачу на 19% больше времени, причём в минусе оказались 75% участников.

Почему опытные разработчики ошиблись в оценке собственной скорости почти на 40 процентных пунктов?

Самая пугающая цифра в отчёте METR — даже не сами +19% времени, а крах человеческой калибровки. До старта внешние эксперты (34 экономиста и 54 ML-исследователя) предсказывали ускорение на 38–39%, а сами разработчики — на 24%. Но после финиша, отработав все 246 задач и записав тайминги, участники были искренне уверены, что ИИ сэкономил им около 20% времени.

Ощущение и секундомер разошлись на 39 процентных пунктов (при нормальной калибровке прогноза длительности задач 0,64 и 0,59). ИИ ломает восприятие усилий: сидеть в кресле ревьюера и наблюдать за бегущим текстом психологически легче, чем самому продираться через легаси. Отсюда управленческий вывод: любой отчёт об «эффекте внедрения ИИ», построенный на опросах сотрудников, измеряет дофамин, а не продуктивность.

Где проходит «рваная граница» возможностей модели между новичком и экспертом?

Если соединить данные METR и Microsoft с исследованиями Гарварда на 758 консультантах BCG (Navigating the Jagged Technological Frontier, 2026) и работой Бринйолфссона в QJE по 5 172 операторам поддержки, выстраивается единая картина:

1. Эффект новизны контекста: в поддержке ИИ дал в среднем +15%, но у новичков прирост составил +30–36%, а у ветеранов оказался околонулевым. На чистом листе любой из нас — новичок, поэтому там мы получаем -55% времени. В пятилетнем репозитории главная сложность — удержать негласные инварианты архитектуры, которых нет в весах модели.
2. Ловушка убедительности: внутри границы возможностей модели консультанты с ИИ делали на 12,2% больше задач и на 25,1% быстрее. Но за пределами границы доля верных решений падала с 84,5% до 60–70,6%, тогда как внешние судьи оценивали убедительность этих ошибочных текстов на 17,9–25,1% выше.

Чтобы не попадать в +19%, я держу четыре правила: никогда не делегировать понимание (указывать в ТЗ точный файл, строку, причину и критерий приёмки), блокировать хуками PreToolUse только 25 необратимых команд при 424 разрешённых (с распаковкой обёрток ssh, python -c и base64), хранить 93 КБ модульных правил архитектуры на диске и разделять уровни делегирования Level 0–3.

Как 14 объявленных пакетов превращаются в 492 и чем опасен slopsquatting?

По данным USENIX Security 2025 (arXiv:2406.10279) на 576 000 фрагментов кода, модели выдумывают несуществующие имена библиотек в 5,2% случаев у коммерческих LLM и в 21,7% у открытых (205 474 уникальных фантомных имени), чем пользуются атакующие (slopsquatting). Проверить реальное дерево зависимостей своего проекта можно за секунду:

```python import json, sys

lock = json.load(open(sys.argv[1], encoding="utf-8")) root = lock["packages"][""] direct = len(root.get("dependencies", {})) + len(root.get("devDependencies", {})) total = len([k for k in lock["packages"] if k]) print(f"Объявлено вручную: {direct} | Реально в дереве: {total}") ```

В моём боте 14 объявленных библиотек развернулись в 492 пакета, а на веб-проекте — в 1 442 пакета. Обязательный минимум гигиены — коммитить lock-файлы, гонять trufflehog, trivy fs --scanners vuln,secret и syft.

Хуки безопасности, уровни делегирования и контроль зависимостей уже собраны в стеке Nomad AI и на платформе agent.nomadnet.ai. Освоить инженерный вайбкодинг без потери контроля над архитектурой можно в Hamidun Academy (72 часа триала бесплатно), а боевые правила и гарды доступны в Vibe Club.