SkillMem хранит навык ИИ-агентов в 9,6 КБ и ускоряет команду в 4,2 раза

Команды из нескольких ИИ-агентов решают задачи лучше одиночной модели: один планирует, другой критикует, третий дорабатывает. Чтобы агенты не повторяли одни и те же ошибки, им дают «навыки», то есть короткие рецепты вроде «проверь допущения» или «сверь промежуточный результат». Исследователи Политехнического института Ренсселера и IBM показали, как хранить такие навыки в 9,6 килобайта на штуку и не терять скорость. Метод назвали SkillMem. На модели Qwen3-4B он поднял точность на GSM8K (школьные текстовые задачи по математике) с 72,40% до 89,90%, а на GPQA-Diamond (трудные вопросы по физике, химии и биологии уровня эксперта) с 17,97% до 35,63%. Эти цифры сравнивают с базовой системой LatentMAS, где агенты общаются скрытыми векторами и не пишут друг другу текст.

Почему текстовый навык съедает выигрыш от скрытого общения

Латентные мультиагентные системы быстрее обычных, потому что агенты не генерируют промежуточные сообщения словами. Они передают друг другу внутренние состояния модели, и только последний агент выдаёт текстовый ответ.

Но навык обычно вставляют в промпт обычным текстом. Каждый раз, когда его используют, модель заново прогоняет эти токены через себя. На длинной серии запросов такая «предзаправка» съедает часть скорости, ради которой всё затевалось.

Альтернативы тоже неудобны:

• Кэш ключей и значений (KV) для навыка избавляет от повторного прогона, но хранит состояния каждого токена на каждом слое. Объём растёт с длиной навыка и глубиной модели.
• LoRA-адаптер для каждого навыка — это набор поправок к весам. Он меньше всей модели, но сотня навыков уже заметно распухает.

Как навык становится набором из нескольких векторов

SkillMem хранит каждый навык как небольшой набор обученных векторов вне модели. Модель остаётся замороженной. По запросу система находит подходящий навык: описание навыков кодируется той же моделью, и выбор идёт по косинусной близости к запросу. Затем память навыка доступна всем агентам в цепочке.

Дать всем ролям одни и те же векторы мало: планировщику и критику навык нужен для разного. Поэтому в нескольких слоях модели стоит «читатель» на кросс-внимании. Скрытое состояние агента формирует запрос к памяти, а память отдаёт нужные куски. Вектор роли получают из системной инструкции агента. Сигмоидный вентиль решает, насколько сильно подмешать прочитанное. Параметры читателя общие для всех навыков и ролей, поэтому на каждый навык приходится только его память.

Обучают память необычно. Её не заставляют восстанавливать текст навыка. Вместо этого берут ответ модели, сгенерированный с текстовым навыком, и сравнивают вероятность каждого токена с навыком и без него. Это и есть эффект навыка. Память с читателем учат воспроизводить тот же сдвиг. Токены, где навык реально помогает, получают больший вес. Там, где навык ничего не добавляет, модель держат близко к исходному поведению.

Текстовые навыки авторы получали, сравнивая успешные и неудачные решения одной и той же задачи командой агентов. Но на вход можно подать и готовый навык, написанный вручную.

Что показали эксперименты на Qwen3

Проверка шла на шести тестах по рассуждению, ответам на вопросы и генерации кода, на моделях Qwen3 от 4 до 14 миллиардов параметров. Конфигурация памяти одна на все размеры. Авторы пишут, что сильнее всего выигрывают небольшие модели, а скорость латентного вывода сохраняется при любом размере.

Цифры по эффективности:

• 9,6 КБ на навык, включая вектор для поиска.
• Ускорение сквозного вывода в 4,23 раза против команды агентов, общающихся текстом (TextMAS).
• Ускорение в 1,63 раза против LatentMAS, где навыки подаются текстом.
• При библиотеке из 100 навыков общий объём, с учётом общего читателя, в 38,3 раза меньше, чем у KV-кэша, и в 86,6 раза меньше, чем у LoRA-адаптеров.

ЛоRA-подход авторы сравнивали с методом S2L, который хранит навыки в параметрах модели.

Что это даёт инженерам

Для тех, кто строит агентные системы на небольших открытых моделях, идея практична. Навыки можно держать как библиотеку крошечных файлов и подгружать по запросу, не раздувая контекст и не копя гигабайты адаптеров. Чем больше библиотека, тем заметнее экономия.

Есть и ограничения. Каждый навык нужно один раз скомпилировать: сгенерировать ответы-образцы и обучить память. Метод опирается на латентную мультиагентную архитектуру и проверен на семействе Qwen3. Сильный прирост на 4B-модели не значит, что на больших моделях эффект будет такого же масштаба. Но направление ясное: процедурные знания агентов можно хранить как компактную память, а не как длинный текст в промпте.