Виновата не модель, а архитектура: разбор 3 громких ИИ-инцидентов (Deloitte, ИИ-камеры, агент)

Инженер, который проектирует продакшн-системы на больших языковых моделях (LLM), разобрал три громких ИИ-инцидента и пришёл к выводу: во всех трёх виновата не сама модель, а отсутствующая вокруг неё архитектура. Разбор опубликован на Habr.

Что объединяет три инцидента

Три инцидента объединяет не тип ошибки, а её источник: код вокруг LLM писали люди, которые умеют составлять промпты, но не умеют проектировать архитектуру. Дыры при этом оказались в трёх совершенно разных местах системы.

• Deloitte Australia вернула правительству деньги за отчёт, в котором ИИ выдумал источники — ссылки никто не проверял
• В Миннесоте сеть ИИ-камер несколько дней вела журналиста как угонщика, и его заблокировали на парковке четыре полицейские машины
• Причина инцидента в Миннесоте — опечатка в данных, сделанная за две тысячи миль от журналиста
• Код, сгенерированный моделью, ночью отменил все подписки клиентов инди-SaaS и оставил бизнесу $38 месячной выручки
• Общий диагноз автора — провал архитектуры, а не языковой модели

Три разные дыры в архитектуре

Дыры прорвались на трёх разных уровнях системы. У Deloitte Australia не проверялись источники: модель сгенерировала правдоподобные, но несуществующие ссылки, и отчёт ушёл заказчику — правительству — без валидации фактов. Итог — публичный возврат бюджетных денег.

В истории с Миннесотой отказала граница данных. Сеть ИИ-камер распознавания номеров несколько дней держала журналиста в статусе угонщика из-за одной опечатки, введённой за две тысячи миль от него. Никто не заложил проверку и способ оспорить ложное срабатывание — поэтому к человеку на парковке приехали сразу четыре машины полиции.

Третий случай — про права автономного агента. Инди-разработчик дал сгенерированному моделью коду слишком много полномочий: ночью тот отменил подписки всех клиентов. Утром основатель обнаружил, что от месячной выручки осталось $38. Автономному агенту не поставили ограничений на разрушительные действия.

Почему модель здесь ни при чём

Ни в одном из трёх случаев не сломалась сама LLM — сломалось то, что её окружает. По разбору автора, проблема системная: инженеры научились получать от модели нужный ответ, но не выстраивают вокруг неё проверки, границы данных и ограничения прав.

«Системы вокруг LLM строили люди, которые умеют писать промпты, но не умеют проектировать архитектуру», — говорится в разборе инженера на

Habr.

Все три дыры — валидация источников, контроль данных на входе, права агента — это классические задачи проектирования, а не тонкой настройки модели.

Что это значит

LLM в продукте — это не «умная функция», а компонент, вокруг которого нужны те же инженерные страховки, что и в любой критичной системе: проверка выходных данных, контроль входных, ограничение полномочий. Без них ошибётся не модель — ошибётся продукт, и цена бывает вполне конкретной: от возврата бюджетных денег до $38 на счету.

Частые вопросы

Кто виноват в этих ИИ-инцидентах?

По выводу автора разбора — не языковая модель, а архитектура вокруг неё. Все три системы построили люди, которые умеют писать промпты, но не проектируют проверки, границы данных и права автономных агентов.

Сколько потерял основатель SaaS?

Сгенерированный моделью код ночью отменил подписки всех клиентов, и от месячной выручки бизнеса осталось $38. Причина — автономному агенту не ограничили разрушительные действия.

Что произошло с Deloitte Australia?

Deloitte Australia вернула правительству деньги за отчёт, в котором ИИ выдумал источники. Ссылки, сгенерированные моделью, никто не проверил перед сдачей работы заказчику.