Modal выпустила Spindle: в её тестах расходы на дообучение упали до 80%

Команда обучает агента писать код: он получает задачу, меняет файлы, запускает тесты и возвращается за оценкой. Всё это время ускорители, выделенные для обновления модели, могут ждать следующую порцию данных. Счёт за аренду продолжает расти. Modal предлагает занять эти паузы другими экспериментами: её новый сервер Spindle позволяет нескольким запускам делить оборудование. По тестам самой компании, расходы относительно Tinker снизились на 20–80% в зависимости от задачи и конфигурации.

Это полезный инструмент для команд, которые регулярно дообучают открытые модели и сравнивают множество вариантов. Но главный вопрос здесь — сколько работы удастся поместить на оплаченные GPU. Сам по себе переход с тарифа за токены на почасовую оплату экономию не гарантирует.

Как несколько экспериментов делят одни GPU

Spindle — сервер с открытым кодом и API, совместимым с Tinker от Thinking Machines. Разработчик задаёт цикл обучения на Python: как считать ошибку, за что награждать агента, в какой среде выполнять задания. Распределённое обучение берёт на себя сервер, развёрнутый в рабочем пространстве команды на Modal. Оплата идёт за время GPU.

Представим, что команда проверяет четыре способа оценивать ответы поискового агента. Каждый вариант должен искать документы, читать их и собирать ответ. Пока первый запуск занят поиском, сервер выполняет шаг обучения второго. Затем приходит очередь третьего. Так паузы одного эксперимента становятся рабочим временем другого.

Для этого Spindle поддерживает multi-LoRA: несколько запусков используют общую базовую модель и отдельные обучаемые адаптеры. Также доступно обучение всех параметров модели. Вычисления для генерации ответов и обновления весов разделены, поэтому под них можно выбирать разные ускорители и отдельно менять объём ресурсов.

Совместимость показали на поисковом агенте с gpt-oss-20b, который работает с финансовой отчётностью и инструментами поиска и чтения. По описанию Modal, для переноса существующего скрипта с Tinker хватило замены адреса сервера и ключа доступа. Это хороший пример миграции, хотя он ещё не доказывает совместимость любого пользовательского кода.

Где появилась экономия и где закончился запас

В математическом тесте один клиент оставлял длинные паузы между шагами обучения. Когда четыре клиента начали чередовать работу, загрузка обучающего сервера достигла примерно 88%. Дальнейшее увеличение числа клиентов в этой конфигурации уже заметно ухудшало пропускную способность каждого запуска: за общие ресурсы приходилось конкурировать.

Разброс цен хорошо показывает зависимость результата от задачи. В математике Modal получила снижение расчётной стоимости миллиона выходных токенов с 9,77 до 1,99 доллара при восьми клиентах. У поискового агента экономия была скромнее: с 5,06 до 3,80 доллара. На задачах программирования SWE-Gym с контекстом 256 тысяч токенов компания сообщила о снижении с 15,04 до 5,82 доллара.

Это измерения поставщика, с разным оборудованием и числом параллельных клиентов. Их нельзя превращать в обещание скидки для любого проекта. Кроме того, снижение стоимости сопровождалось более медленным завершением отдельных запусков. Для команды с жёстким сроком получения одной модели такой обмен может оказаться невыгодным.

Что проверить перед переносом обучения

Практический смысл Spindle — в возможности менять сервер под свою задачу. Например, Modal описывает расширение контекста модели с 16 до 256 тысяч токенов через конфигурацию и увеличение параллелизма обработки контекста. Однако две изменённые настройки в примере не означают, что длинный контекст достанется бесплатно: подходящие GPU и проверка стабильности всё равно нужны.

Начать стоит с переноса одного воспроизводимого эксперимента. Сначала сравнить качество на одинаковом наборе задач, затем запустить несколько вариантов одновременно и измерить стоимость завершённого обучения, время ожидания и загрузку ускорителей. Дешёвые токены мало помогают, если нужный результат приходит слишком поздно.

Spindle пока находится в бете. Открытый код даёт возможность дорабатывать сервер, но описанное развёртывание использует инфраструктуру Modal. Для команды с постоянной очередью экспериментов это повод проверить экономику общей загрузки GPU. Для редких одиночных запусков преимущество ещё предстоит доказать. Конфигурации и результаты опубликованы в анонсе Modal.