Энтузиаст запустил DeepSeek-V4-Flash на 64 ГБ ОЗУ без GPU: до 15 токенов в секунду

Обычно разговор о локальном запуске больших моделей упирается в один вопрос: сколько у вас видеопамяти. Энтузиаст выложил проект llama-modchip под лицензией Apache 2.0 и утверждает, что для модели на 284 млрд параметров хватит обычного ПК с 64 ГБ оперативной памяти. Видеокарта не нужна, своп тоже. Разберёмся, что именно там сделано и можно ли этому верить.

Что получилось

llama-modchip — это набор патчей для ядер ggml/llama.cpp, инструменты квантования и скрипты для запуска разреженных MoE-моделей прямо на процессоре. Целевая модель — DeepSeek-V4-Flash: 284 млрд параметров всего, из них 13 млрд активных.

Цифры от автора такие. Пиковое потребление памяти около 58 ГБ при контексте в 256 000 токенов. Префилл, то есть «прочтение» запроса, идёт со скоростью 44 токена в секунду. Генерация даёт от 9 до 15 токенов в секунду. Тесты проводились на 16-ядерном Ryzen 9 9955HX. Это примерно тот темп, в котором текст ещё удобно читать по мере появления на экране. Для чата или фоновых задач нормально, для интерактивной работы с длинными документами уже тяжеловато: 44 токена в секунду на префилле означают, что большой контекст придётся загружать заметное время.

Почему это вообще возможно

Здесь сошлись два приёма.

Первый заложен в самой модели. MoE (mixture of experts) похожа на большую библиотеку, где на каждый вопрос открывают только нужные книги-эксперты. Хранится всё, а считается малая часть. Поэтому по вычислениям DeepSeek-V4-Flash ближе к моделям среднего размера: на каждый токен работают лишь 13 млрд параметров. Процессору такая нагрузка по силам. Узкое место другое: в памяти нужно держать все 284 млрд весов.

Второй приём — работа автора. Он агрессивно квантует маршрутизируемых экспертов, до 1,56 бита на вес по схеме IQ1_S, и использует собственный формат файлов. Если считать грубо, 284 млрд весов по полтора бита с небольшим дают чуть больше 50 ГБ. В 64 ГБ это помещается, и остаётся запас на контекст и систему.

Итог простой: MoE снимает проблему вычислений, квантование снимает проблему объёма памяти. Видеокарта в этой схеме просто не нужна.

Где подвох

Подвохов несколько, и их стоит держать в голове.

Во-первых, слово «lossless» в README. Оно означает только то, что логиты совпадают с непропатченной сборкой на тех же квантованных весах. То есть патчи ядер ничего не ломают. С полноточной моделью результат никто не сравнивал. А при 1,56 бита на вес потеря качества почти наверняка есть, вопрос лишь в её размере. Для кода, длинных рассуждений и вызова инструментов даже небольшая деградация может оказаться критичной.

Во-вторых, все цифры получены самим автором. Независимых повторов пока нет, так что скорость и расход памяти на другом железе могут отличаться.

В-третьих, совместимость. Квантованные файлы не открываются в обычных llama.cpp, Ollama и LM Studio. Нужна именно сборка проекта, а значит, придётся мириться с форком и следить за его поддержкой.

Что с этим делать

Для разработчика и продакта вывод прагматичный. Это пока не готовое решение для продакшена, а доказательство концепции: фронтирную по размеру MoE-модель можно уместить в обычный десктоп. Если замеры подтвердятся, у команд появится дешёвый способ локально гонять большие модели для прототипов, офлайн-сценариев и задач, где данные нельзя отправлять в облако.

Практический план: подождать независимых повторов, а если есть свободная машина на 64 ГБ, самому прогнать модель на своих задачах и сравнить с API или с более мелкими моделями. Именно качество на ваших данных решит, стоит ли 1,56-битная версия внимания. Скорость 9–15 токенов в секунду для офлайн-агентов или пакетной обработки может быть приемлемой, а вот для интерактивных продуктов с десятками пользователей — нет.

Общий тренд при этом понятен. Память и видеокарты дорожают, и программные оптимизации вроде этой начинают конкурировать с железом. Пока это скорее красивая заявка, чем новый стандарт, но направление стоит держать в поле зрения.