Локальные LLM
Локальные LLM — это языковые модели, которые работают прямо на вашем железе: ноутбуке, ПК с видеокартой или домашнем сервере — без облака, подписок и передачи данных наружу. Ollama, llama.cpp и LM Studio плюс квантованные GGUF-версии Llama, Qwen и Gemma делают это доступным даже на видеокарте десятилетней давности. Здесь — все наши материалы о локальном запуске ИИ: гайды, тесты железа, квантизация и приватность.
T2Quant перераспределяет точность по шагам диффузионных LLM: до +6,7 п.п.
Исследователи предложили T2Quant: квантизацию диффузионных языковых моделей, которая меняет разрядность активаций по шагам денойзинга и добавляет до 6,7 п.п.
OPTIC сжимает per-layer embeddings Gemma 4 E4B в 100 раз и сохраняет 97,8% качества
Исследователи из VILA-Lab ужали per-layer embeddings Gemma 4 E4B примерно в 100 раз: модель сохраняет 97,8% качества на семи бенчмарках, а GPU-память падает на…
PACE сжимает состояние линейных LLM до 4 бит и экономит треть памяти
PACE квантует рекуррентное состояние гибридных LLM до четырёх бит без дообучения: на моделях 4B–35B он держится на уровне 8-битного DAMP при примерно 2/3 памяти.
NVIDIA выпустила Nemotron 3.5 Super: 26 баллов AA и 630 токенов/с
Разработчик с Claude Code собрал Lumi: Spotlight с ИИ для Mac и Windows бесплатно
Техно-аквариум на две GTX 1660 Super: как я запустил Qwen 2.5 и встроил её в INFERNUM
Qwen-Image-2.1 от Alibaba: 7 млрд параметров, 2K и запуск на MacBook Air с 16 ГБ
Ситхараман назвала Индию альтернативой США и Китаю для капитала в ИИ и чипах
Министр финансов Индии заявила, что страна может принять глобальный капитал наравне с США и Китаем. Аргументы: ИИ, полупроводники и зелёные технологии, за ними…
Диктовка без паразитов: Whisper на компьютере и Claude для чистки
Разработчик на Habr собрал систему очистки диктовки: Whisper Large v3 Turbo распознаёт локально, Claude Sonnet 5.5 удаляет паразитные слова и правит ошибки. От…
Как устроен LLM-агент: контекст, инструменты и цикл обратной связи
Fitbit Edge: между Pixel Watch 5 и Fitbit Air — новый трекер Google за $180
Удары БПЛА по инфраструктуре «Яндекса» сократили свободные мощности в России
Битрикс24 описала, что строят вокруг собственной LLM на 1 трлн параметров
RunPod разобрал 4 метода квантизации: от FP16 до INT4 память падает в 4 раза
RunPod сопоставил post-training квантизацию, QAT, смешанную точность и динамическую квантизацию. Переход с FP16 на INT4 сокращает память весов вчетверо, но…
Агентный поиск на open-source моделях: кого нашёл, сколько потратил и где всё сломалось
Автор Habr потратил $20 на экспериментальную систему агентного поиска: протестировал шесть open-source моделей, обнаружил, что лучше всего работает gemma4 с простым…