Amazon SageMaker AI убрал обязательную загрузку в S3 при асинхронном инференсе

Amazon обновила SageMaker AI: теперь асинхронный инференс принимает входные данные напрямую в теле API-запроса — без обязательной предварительной загрузки в Amazon S3.

Как работает асинхронный инференс

SageMaker Async Inference — режим для ML-задач, которые не укладываются в несколько секунд ожидания. Транскрипция аудио, обработка PDF-документов, генерация длинных текстов, батчевая классификация изображений — всё это сценарии, где ответа модели приходится ждать от десятков секунд до нескольких минут. В таких случаях синхронный инференс не подходит: клиент не может держать HTTP-соединение открытым так долго.

Асинхронный режим решает это через очередь: запрос ставится в обработку, модель работает в фоне, результат сохраняется в S3-бакете, а клиент получает уведомление или периодически проверяет готовность. Это стандартный паттерн для production ML-систем с переменным временем ответа. До сегодняшнего обновления стандартный рабочий процесс требовал двух шагов: сначала загрузить входные данные в S3, затем передать в `InvokeEndpointAsync` ссылку на этот объект.

Только после этого SageMaker начинал работу. Каждый вызов — лишняя операция записи в хранилище и дополнительный сетевой запрос.

Что теперь изменилось

Amazon добавила поддержку inline payloads: данные теперь можно передавать напрямую в теле запроса `InvokeEndpointAsync` — как в обычном REST API. Предварительная загрузка в S3 для входных данных больше не нужна. Практические изменения: Меньше кода: не нужно писать логику создания S3-объектов, передачи ключа и последующей уборки временных файлов Ниже операционные расходы: каждая операция PUT в S3 стоит денег — при тысячах небольших вызовов в день это складывается в ощутимую сумму Проще отладка: входные данные видны прямо в запросе, не нужно идти в S3 Console чтобы понять, что именно передавалось на вход Меньше точек отказа: один сетевой вызов вместо двух снижает вероятность сбоя на этапе загрузки данных * Быстрее старт обработки: SageMaker начинает инференс немедленно, не ожидая выборки данных из хранилища ## Для каких задач актуально Обновление особенно полезно в сценариях, где входные данные небольшие или средние по объёму и генерируются динамически.

Встроенные ML-запросы из приложений: когда пользователь отправляет текст на анализ или изображение на классификацию, хранить промежуточный объект в S3 только ради передачи в модель — лишняя работа. Теперь данные идут напрямую. Тестирование после деплоя: в CI/CD пайплайнах проверка модели после выкатки может включать десятки тест-запросов.

Управлять временными S3-объектами для каждого из них становится ненужным. Для тяжёлых данных — длинных видеофайлов, больших аудиозаписей, корпусов документов — путь через S3 по-прежнему остаётся оптимальным и доступным. Оба подхода работают параллельно, разработчик выбирает подходящий под конкретную задачу.

Что это значит Amazon последовательно убирает инфраструктурные барьеры в SageMaker.

Поддержка inline payloads — точечное, но конкретное улучшение: меньше шагов, меньше зависимостей, чище архитектура пайплайна. Для команд с высокочастотным асинхронным инференсом это реальная экономия времени разработки и операционных расходов.