Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизAPI / Продукт · В работуTogether AI Blog→ оригинал

DeepSeek в 4 раза быстрее: как работает система ATLAS для LLM

Together AI представила ATLAS — адаптивный спекулятор на основе machine learning, который ускоряет LLM inference в 4 раза без ручной настройки. Система автоматически обучается и адаптируется к вашей рабочей нагрузке по мере использования. На DeepSeek-V3.1 достигает 500 токенов в секунду — это в 2.65 раза быстрее стандартного декодинга и превосходит производительность специализированного оборудования Groq.

AI-обработка оригинала Together AI Blog; редакция Hamidun News
DeepSeek в 4 раза быстрее: как работает система ATLAS для LLM
Источник: Together AI Blog. Коллаж: Hamidun News.
Слушать статью

Система ATLAS от Together AI позволяет ускорить вывод LLM вроде DeepSeek-V3.1 и Kimi-K2 в 4 раза — до 500 и 460 токенов в секунду соответственно, без ручной настройки.

На какие модели работает ATLAS?

ATLAS ускоряет DeepSeek-V3.1 до 500 токенов в секунду и Kimi-K2 до 460 токенов в секунду, автоматически улучшаясь по мере использования.

Что такое спекулятивный декодинг?

Спекулятивный декодинг — один из мощных способов ускорить генерацию текста на языковых моделях. Вместо стандартного способа, когда модель генерирует по одному токену за раз, спекулятивный декодинг позволяет обрабатывать несколько токенов одновременно.

На сколько ATLAS ускоряет DeepSeek?

ATLAS ускоряет DeepSeek-V3.1 до 500 токенов в секунду — это 4x ускорение. На Kimi-K2 система достигает 460 токенов в секунду.

Какой результат даёт ATLAS на DeepSeek?

На DeepSeek-V3.1 система ATLAS достигает 500 токенов в секунду (примерно 4x ускорение), на Kimi-K2 — 460 токенов в секунду.

Сюжет

Вопросы и ответы по материалу

На какие модели работает ATLAS?

ATLAS ускоряет DeepSeek-V3.1 до 500 токенов в секунду и Kimi-K2 до 460 токенов в секунду, автоматически улучшаясь по мере использования.

Что такое спекулятивный декодинг?

Спекулятивный декодинг — один из мощных способов ускорить генерацию текста на языковых моделях. Вместо стандартного способа, когда модель генерирует по одному токену за раз, спекулятивный декодинг позволяет обрабатывать несколько токенов одновременно.

На сколько ATLAS ускоряет DeepSeek?

ATLAS ускоряет DeepSeek-V3.1 до 500 токенов в секунду — это 4x ускорение. На Kimi-K2 система достигает 460 токенов в секунду.

Какой результат даёт ATLAS на DeepSeek?

На DeepSeek-V3.1 система ATLAS достигает 500 токенов в секунду (примерно 4x ускорение), на Kimi-K2 — 460 токенов в секунду.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…