Правило «сначала проверь, потом отказывай»: как отучить ИИ-агента сдаваться на первой ошибке

Почти год в моей работе с ИИ-агентами повторялась одна и та же комичная сцена. Я ставлю задачу — например, массово переименовать список записей в сервисе. В ответ модель вежливо пишет: «К сожалению, через интерфейс это сделать невозможно, зайдите в настройки и переименуйте вручную». Я пишу два слова: «Попробуй сам». Агент запускает поиск по диску, находит локальный конфигурационный файл, правит три строчки — и задача решена.

В какой-то момент я понял, что работаю мотивационным тренером у нейросети: сижу с полотенцем у ринга и уговариваю её поверить в собственные силы.

Почему фраза «это невозможно сделать» от языковой модели — галлюцинация, а не факт?

Корень проблемы кроется в том, как мы воспринимаем ответы LLM. Если агент напишет «все тесты успешно прошли», ни один вменяемый инженер не поверит ему на слово без лога тест-раннера. Но когда тот же самый агент пишет «сделать это нельзя, нет доступа», человек почему-то принимает отказ за проверенный медицинский факт.

На самом деле модель не проверяла доступ. Она просто сопоставила статистическую вероятность по обучающей выборке и выдала догадку в форме категоричного утверждения. Чтобы убрать эту привычку, я написал компактный модуль правил на пять килобайт. Его главный инвариант звучит так: прежде чем произнести любую стоп-фразу («не могу», «нет инструмента», «сделай вручную»), агент обязан предъявить конкретную пару «каким инструментом проверил → какой код ошибки или вывод получил». Нет вызванного инструмента — значит, не пробовал, а угадал.

Какие 6 обходных путей агент обязан проверить перед тем, как обратиться к человеку?

Вместо преждевременной сдачи агент теперь проходит по строгому чеклисту из шести уровней:

1. Локальные файлы и базы: почти всё, что отображает десктопная программа, лежит на диске в виде JSON, SQLite или кэша и поддаётся прямому чтению и записи.
2. Браузерная автоматизация: пять независимых контуров (от мгновенного CLI-браузера до профилей с живыми куками и стелс-движков) открывают любую админку, куда я могу зайти глазами.
3. Настроенные учётные записи: ключи от почты, облачных дисков, календарей, мессенджеров и серверов уже лежат в защищённом хранилище — их нужно просто запросить через мост.
4. Внутренние веб-API: отсутствие публичной документации не тупик; агент открывает сетевую вкладку DevTools, смотрит заголовки уходящего запроса и воспроизводит его из скрипта.
5. Смена маршрута при внешней блокировке: если прямой запрос упёрся в антибот или таймаут, используется альтернативный провайдер или зеркало.
6. Написание собственного микро-инструмента: когда готовой утилиты нет, агент за две минуты пишет одноразовый Python-скрипт и решает задачу.

Чтобы поиск не превращался в бесконечный цикл, стоит ограничитель: после 3–4 осмысленных попыток разными методами агент останавливается и выдаёт точный технический отчёт по каждому проверенному пути.

Как дать агенту полную свободу действий и гарантировать, что он не снесёт систему?

Разрешить автономному агенту самостоятельно искать обходные пути без постоянного подтверждения кнопкой «Да» можно только тогда, когда вокруг него выстроен железобетонный периметр безопасности.

У меня эта защита разделена на три эшелона: сторож терминальных команд на 42 правила проверяет каждый вызов до его выполнения, чёрный список из 25 жёстких запретов намертво блокирует удаление корневых директорий, форматирование дисков, дроп таблиц БД и принудительный git push --force, а отдельный файловый хук охраняет пароли и конфигурационные ядра от перезаписи. Кроме того, любой внешний текст из писем и чатов маркируется как недоверенные данные, чтобы исключить prompt injection.

Забрать этот модуль правил вместе со сторожами безопасности можно в моём канале @jemal_hamidun. Вся архитектура безопасной автономности из коробки встроена в Nomad AI. Научиться настраивать такие контуры под свои задачи можно в Hamidun Academy (доступен 72-часовой триал), а полная база из 370+ скиллов и живые мастермайнды ждут вас в Vibe Club.