Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизAPI / Продукт · В работуHabr AI→ оригинал

QA-инженеры SpaceWeb поручили ИИ писать автотесты: рабочий скрипт за 50 минут

QA-команда SpaceWeb встроила ИИ в тестирование и посмотрела, где он экономит время, а где выдаёт красивую воду. Агент работает на локальной модели Qwen3.8-27B, чтобы чувствительные данные не уходили наружу. Тест-кейсы и JSON для API получились быстро, а UI-автотест на Pytest и Selenium собрали меньше чем за час. Но селекторы и ожидаемое поведение всё равно правит человек.

AI-обработка оригинала Habr AI; редакция Hamidun News
QA-инженеры SpaceWeb поручили ИИ писать автотесты: рабочий скрипт за 50 минут
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Промпт и поиск селекторов — 30 минут, отладка — ещё 20
Ключевой факт #2Тест-кейсы, чек-листы и тестовые JSON ИИ делает черновиком, QA дополняет
Ключевой факт #3Для IDOR-проверок ИИ предложил перебор service_ref через Requests

Каждый QA знает эту арифметику: фич больше, чем рук, релизы горят, а половина дня уходит на однотипные тест-кейсы и «скелеты» автотестов. QA-инженер SpaceWeb Евгения Мясникова вместе с руководителем R&D Виталием Киреевым решила проверить, какую часть этой рутины можно честно отдать LLM, а где она просто генерирует воду, которую потом всё равно переписываешь руками.

Три задачи для ИИ и один важный выбор

Автоматизировать всё сразу команда не пыталась. Взяли три направления: тестовая документация и данные (позитивные, негативные и граничные проверки, тест-планы, чек-листы), скрипты автоматизации и расширение проверок безопасности и API. Принцип простой: ИИ делает черновик, а тестировщик читает, дополняет и отлаживает.

Главный практический выбор касается данных. Из-за чувствительной информации агента подключили к локальной модели Qwen3.8-27B. Для документации и кода использовали внутреннего ассистента, а запускали всё на привычном стеке: Postman, Python, Pytest и Selenium. Если вы работаете с закрытым кодом и внутренними схемами API, внешнее облако для такой работы не обязательно.

На формах это выглядит так. В модель загружают предусловия, требования к обязательности полей и валидации, а на выходе получают таблицу позитивных проверок, затем негативных. Для интеграции с GitHub/GitLab ИИ дополнительно выделил самые критичные сценарии. Для API агенту дали пример валидного JSON для создания VPS и попросили подготовить данные: минимальные и эталонные запросы, граничные значения, кириллические домены, спецсимволы и невалидные случаи вроде создания сервера в несуществующем регионе.

При этом читать результат нужно внимательно. В одном из примеров имя хоста подписано как «ровно 63 символа», но строка заметно длиннее, а в IPv6-адрес затесался пробел. Для граничного теста это может быть и умышленно, но надёжнее сверять такие вещи вручную.

Автотест меньше чем за час

Самый показательный кейс — автоматизация создания почтового ящика в панели хостинга. Промпт расписан по шагам и содержит всё, что знает человек у экрана: Pytest, Selenium, Chrome, авторизацию из conftest.py, точные селекторы, правила для пароля (8–20 символов, буквы, цифры, спецсимволы) и ожидаемый редирект на страницу review. Модель выдала готовый test_mail_add.py с комментариями, явными ожиданиями через WebDriverWait и проверками результата.

Потом задачу усложнили и попросили параметризовать тест под разные имена ящиков. Получилось два теста: test_create_valid_mail_box и test_reject_invalid_mail_box. Позитивные наборы проверяют длину 1 и 64 символа, спецсимволы и цифры. Негативные проверяют заглавные буквы, пробелы, слэш и длину 65. Если один кейс падает, сразу видно, какой сценарий сломался.

По времени: около 30 минут ушло на промпт и поиск селекторов, ещё 20 на отладку. Это не «нажал кнопку и готово», но для рутинного скелета результат хороший.

Ограничения тоже видны в коде. В негативном тесте ИИ не знал, как система реагирует на ошибку, поэтому предложил два варианта: либо фронтенд показывает ошибку, либо форма уходит и редиректа нет. Второй вариант остался закомментированным, и поведение пришлось уточнять человеку. Кроме того, в позитивном тесте для имён без цифр в конце добавляется случайный суффикс. Из-за него кейс «ровно 64 символа» превращается в имя длиннее лимита, то есть граничная проверка фактически ломается. Такие вещи ловит только ревью.

IDOR: старт есть, итогов пока нет

Третий кейс посвящён безопасности API. Нужно было проверить IDOR в методе edit (JSON-RPC): поле service_ref служит прямым идентификатором объекта, и сервер обязан проверять, есть ли у пользователя права на него. Агент сразу предложил базовую проверку: отправить тот же запрос с service_ref другого пользователя. Затем команда попросила написать на Requests скрипт, который перебирает значения из TXT-файла с идентификаторами чужих услуг.

В доступной части публикации текст обрывается на этом шаге, так что итоговых результатов по IDOR здесь нет. Не стоит делать выводов, нашёл ли ИИ реальные уязвимости.

Что взять на практике

  • Давайте модели структурированный контекст: предусловия, схему метода, пример валидного JSON, конкретные селекторы. Качество результата зависит от промпта.
  • Относитесь к выдаче как к черновику. Проверяйте границы значений, ожидаемое поведение при ошибках и локаторы.
  • Для чувствительных данных разворачивайте локальную модель: SpaceWeb показала, что рабочий сценарий возможен и с ней.
  • Начинайте с рутины: тест-кейсы, тестовые данные, скелеты UI-тестов. Именно там экономия понятнее всего.

Честный вывод такой: ИИ не заменяет QA-инженера, но забирает у него самую механическую часть. Контроль качества остаётся за человеком, который знает, как система должна себя вести.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: три задачи для ИИ и один важный выбор?

Автоматизировать всё сразу команда не пыталась. Взяли три направления: тестовая документация и данные (позитивные, негативные и граничные проверки, тест-планы, чек-листы), скрипты автоматизации и расширение проверок безопасности и API. Принцип простой: ИИ делает черновик, а тестировщик читает, дополняет и отлаживает. Главный практический выбор касается данных. Из-за чувствительной информации агента подключили к локальной модели Qwen3.8-27B.

Что известно по теме: автотест меньше чем за час?

Самый показательный кейс — автоматизация создания почтового ящика в панели хостинга. Промпт расписан по шагам и содержит всё, что знает человек у экрана: Pytest, Selenium, Chrome, авторизацию из conftest.py, точные селекторы, правила для пароля (8–20 символов, буквы, цифры, спецсимволы) и ожидаемый редирект на страницу review. Модель выдала готовый test_mail_add.py с комментариями, явными ожиданиями через WebDriverWait и проверками результата.

Что известно по теме: IDOR: старт есть, итогов пока нет?

Третий кейс посвящён безопасности API. Нужно было проверить IDOR в методе edit (JSON-RPC): поле service_ref служит прямым идентификатором объекта, и сервер обязан проверять, есть ли у пользователя права на него. Агент сразу предложил базовую проверку: отправить тот же запрос с service_ref другого пользователя. Затем команда попросила написать на Requests скрипт, который перебирает значения из TXT-файла с идентификаторами чужих услуг.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…