Perplexity опубликовала токенайзер для нейросетей: в 5 раз быстрее
Perplexity выложила открытый код переписанного токенайзера Unigram. Алгоритм работает в 5 раз быстрее, чем стандартные tokenizers от Hugging Face, и снижает нагрузку на процессор в production на 5-6x. Для AI-сервисов это критично: каждая миллисекунда экономии на токенизации = реальная экономия на серверах. Компании уже могут скачать код и интегрировать без доп. расходов.
AI-обработка оригинала MarkTechPost; редакция Hamidun News
Perplexity AI опубликовала открытый код токенайзера для нейросетей Unigram. По производительности это настоящий прорыв — новый алгоритм работает на 5x быстрее традиционного подхода и почти не нагружает процессор.
Зачем нужен быстрый токенайзер?
Токенайзер вызывается сотни миллионов раз в день на production-серверах. Задержка здесь складывается в серьёзные денежные потери.
- 12 нояб. 2026 г.Как ломают LLM-приложения: от «бабушкиного эксплойта» до атак «LLM против LLM»
- 12 нояб. 2026 г.Google открыла Gemini 4 Carbon: $7,76 за решённую задачу и 0% взломов в тесте на инъекции
- 12 нояб. 2026 г.Google открыла Gemini 4 Carbon: агентная модель в 2–6 раз дешевле Fable 5.2
- 12 нояб. 2026 г.Как найти трафик из ChatGPT в Метрике и GA4: в прямых заходах прячется до 6,3%
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.