BerriAI выпустила LiteLLM Agent Platform для агентов в production

Запустить AI-агента в локальном скрипте просто. Запустить его надёжно в production, синхронизировать между рестартами, обеспечить изолированные окружения для разных контекстов — совсем другое дело.

Проблема в production Когда AI-агент работает только на машине разработчика, всё кажется просто.

Но при переводе в production сразу начинаются проблемы: нет хранения сессий между перезагрузками OS, нет изоляции контекстов для разных пользователей, сложно управлять в teams, отсутствует встроенное monitoring. Каждая компания, пытавшаяся запустить агента в production, начинала писать свою инфраструктуру. BerriAI, компания за популярный LiteLLM AI Gateway, выпустила решение для этой проблемы: LiteLLM Agent Platform. Это Kubernetes-based, self-hosted инфраструктурный слой, который автоматизирует всё необходимое.

Что включает LiteLLM Agent Platform

Платформа обеспечивает ключевые компоненты для production-ready агентов: Изолированные песочницы для каждого агента или контекста Persistent session management — сохранение состояния через перезагрузки Team management и управление доступом Встроенный monitoring, логирование, трейсинг Self-hosted deployment на Kubernetes API для управления жизненным циклом агента Вы определяете спецификацию агента, платформа создаёт для него окружение и управляет всем остальным.

Отличие от LiteLLM Gateway Важно не путать LiteLLM Agent Platform с LiteLLM AI Gateway (того же автора).

Gateway — это управление запросами к разным LLM моделям (OpenAI, Anthropic, Cohere, локальные). Он решает проблему маршрутизации и кэширования запросов. Agent Platform — это уровень выше: инфраструктура для полного жизненного цикла агента. Gateway может быть частью stack'а, но Platform берёт на себя всю сложность окружения.

Что это значит Практически это удаляет целый класс проблем для teams, которые хотят запускать

AI-агентов в production. Не нужно самим писать session persistence, изоляцию контекстов, мониторинг. Код как open-source позволит компаниям интегрировать платформу в свой stack без vendor lock-in. Это должно ускорить переход агентов из POC в production.