Локальные LLM
Локальные LLM — это языковые модели, которые работают прямо на вашем железе: ноутбуке, ПК с видеокартой или домашнем сервере — без облака, подписок и передачи данных наружу. Ollama, llama.cpp и LM Studio плюс квантованные GGUF-версии Llama, Qwen и Gemma делают это доступным даже на видеокарте десятилетней давности. Здесь — все наши материалы о локальном запуске ИИ: гайды, тесты железа, квантизация и приватность.
OpenAI и Dell: Codex теперь работает на собственных серверах предприятий
OpenAI и Dell объединяются, чтобы предприятия могли развёртывать AI-кодер Codex на своих серверах без отправки данных в облако — новый стандарт для критичных…
Как сжать языковую модель в 3 раза: гайд по FP8, GPTQ и SmoothQuant
Разработчики получили пошаговый гайд по сжатию больших языковых моделей с помощью llmcompressor, сравнив эффективность FP8, GPTQ и SmoothQuant квантизации для…
Claude блокирует российские IP: как не потерять AI-проект
Сотни пользователей Claude потеряли аккаунты из-за блокировки российских IP. Даже VPN не помогал. Разбираемся, как защитить свой AI-проект от внезапного вырубания.
Дефицит памяти для AI расслаивает рынок чипов на лидеров и аутсайдеров
Deepseek-agent: как написать свой Claude Code за 2000 строк кода
Spring AI облегчила интеграцию Java-приложений с Claude и другими LLM-провайдерами
ИИ-агент за один день: локальный прототип без облака и разработчиков
5 малых открытых моделей с tool calling: какие агенты не нужны облако
Компактные языковые модели теперь могут вызывать функции и управлять инструментами без облачных сервисов, оставаясь открытыми и дешевыми.
Как BERTopic с локальной LLM помогает Ростелеком анализировать массивы текстов
Инженер NLP из Ростелеком показывает пайплайн для кластеризации больших объёмов текстов и получения интерпретируемых названий тем с помощью BERTopic и локальной LLM.
Google встроила Gemini в Chrome и пугает пользователей — как отключить
Google встроила Gemini-диктовку в Gboard и создаёт угрозу стартапам
Osaurus выпустила Mac-приложение, где локальные и облачные AI-модели работают вместе
Правительство России предложило обучать ИИ на авторских материалах без согласия
Нейросеть для текста deepvk vs OpenAI: бенчмарк на судебных актах
Автор сравнил 7 эмбеддингов и 4 реранкера на 858 делах по интеллектуальному праву и выяснил, что локальная deepvk USER2-base работает почти на уровне OpenAI и…
Как внедрить ИИ для поиска документов: опыт Рунити
Рунити готовит внутреннего RAG-ассистента, который ищет по Confluence и GitLab, проверяет права доступа через токены пользователей и работает на локальной…