PyTorch Blog
Источник AI-новостей. Материалы автоматически отбираются и адаптируются редакцией Hamidun News.
Последние публикации
Два инженера подключили SGLang к IBM Spyre за неделю и подняли пропускную способность в 3,6 раза
Подключать новый ускоритель к серверу языковых моделей бывает долго. Два инженера справились меньше чем за неделю с помощью ИИ: переиспользовали код Spyre и получили плагин на 1500 строк.
ExecuTorch запускает PyTorch в браузере на GPU: генерация текста быстрее в 2–10 раз
Модель PyTorch теперь можно запустить на видеокарте прямо во вкладке, без перевода в ONNX. Для команды это шанс сократить расходы на серверный инференс, но ускорение пока проверили на одном типе ноутбука.
SGLang-TorchTPU ускорил выдачу токенов Muse Spark Open почти вдвое
Кодинг-агент тормозит, пока сервер гоняет веса и заново читает контекст. Команда SGLang-TorchTPU показала, как сократить эти паузы у модели на 816 млрд параметров.
IBM Spyre перевёл torch.compile с самописного sendnn на открытый Inductor
Стек PyTorch для ускорителя IBM Spyre сменил бэкенд torch.compile: вместо собственного sendnn, написанного с нуля, теперь работает backend=inductor из открытого кода PyTorch.
NVIDIA Dynamo: сессионное управление инфраструктурой для агентского вывода
NVIDIA Dynamo превращает request-aware инфраструктуру в program-aware с помощью session-level identifier. Это позволяет оптимизировать KV cache, маршрутизацию и управление нагрузкой для длительных агентских сессий с инст