X: @vllm_project
Источник AI-новостей. Материалы автоматически отбираются и адаптируются редакцией Hamidun News.
Последние публикации
vLLM перешёл на LibTorch Stable ABI: новый PyTorch больше не требует пересборки
Каждый релиз PyTorch раньше означал перекомпиляцию кастомных ядер vLLM. Теперь команда опирается на стабильный ABI — апгрейды у пользователей и дистрибьюторов должны стать проще.
Kimi K3.1 Pro сразу работает в vLLM: 1M токенов и 65,7% на Terminal-Bench 4.0
Moonshot выпустила Kimi K3.1 Pro, а vLLM поддержал её в день релиза. Контекст в миллион токенов и 65,7% на Terminal-Bench 4.0: модель можно поднимать у себя сразу.
vLLM с первого дня запускает ERNIE 5.5 Flash Base: 280B параметров, 14B активных
Baidu открыла базовые веса ERNIE 5.5 Flash Base, и vLLM поддержал их в день релиза. Огромная MoE-модель с контекстом до 1 млн токенов, но считает лишь 14 млрд параметров на токен.
SkyRL и vLLM дообучили Mistral Large 4 с RL: AIME вырос с 64% до 75%
На 8 узлах Nvidia GB200 за 75 шагов обучения с подкреплением Mistral Large 4 стала решать олимпиадные задачи AIME 2024 заметно лучше: с ~64% до ~75% верных ответов.