Наивный RAG обошёл агентные системы памяти в шести из семи тестов

Команда исследователей проверила, нужна ли LLM-памяти вся та сложность, которую в неё закладывают. В качестве соперника сложным агентным системам они взяли Raw-RAG: простейший конвейер, где плотный поиск и реранкинг работают по необработанной истории диалога и подают найденные фрагменты модели-читателю. На четырёх бенчмарках долгой памяти (LoCoMo, LongMemEval, MEME и MemoryAgentBench) эта база заняла первое место среди сравниваемых систем в шести из семи пар «бенчмарк — модель». Над сильнейшей агентной системой она выиграла от 0,13 до 5,53 пункта.

Что именно сравнивали

Агентные системы памяти последние годы обрастают механиками. Они переписывают записи, выстраивают структуру хранилища, обучают стратегии извлечения и выполняют другие сложные операции. Идея понятна: диалог на сотни реплик не влезает в контекст, поэтому его нужно сжимать, организовывать и аккуратно доставать нужное.

Raw-RAG устроен противоположно. Историю никто не пересказывает и не перестраивает. Она лежит как есть, поиск находит релевантные куски, реранкер упорядочивает их, а читающая LLM отвечает на вопрос. Авторы сознательно сделали эту схему максимально прямолинейной, чтобы получить честную точку отсчёта.

Отрыв в пунктах местами небольшой, нижняя граница составляет всего 0,13. Но дело не в величине, а в направлении: система без изменяемой памяти, без структуры и без обученного извлечения почти везде оказалась впереди.

Почему сырая история работает

Авторы не остановились на таблице результатов и разобрали, откуда берётся конкурентоспособность. Анализ свидетельств показал, что Raw-RAG выигрывает за счёт охвата. Он чаще достаёт все нужные для ответа доказательства, и это перекрывает более низкую эффективность их использования читателем.

Важная деталь касается самих свидетельств. Полезная информация включает не только итоговые значения, вроде даты или имени. В неё входят отношения между фактами и пути зависимостей, по которым ответ выводится. Когда память преобразована в сжатые записи или структуру, такие связи легко теряются.

Самое показательное наблюдение: даже полный доступ к преобразованным хранилищам оставляет разрыв в точности по сравнению с сырыми свидетельствами. То есть проблема не только в том, что агентный поиск иногда промахивается. Сама трансформация уже отбрасывает часть информации, которую потом не восстановить.

Ключевые данные

• Бенчмарки: LoCoMo, LongMemEval, MEME, MemoryAgentBench.
• Конвейер Raw-RAG: плотный поиск, реранкинг, модель-читатель.
• Результат: первое место в шести из семи настроек «бенчмарк — модель».
• Отрыв от сильнейшей агентной памяти: 0,13–5,53 пункта.
• Механизм: выше охват нужных свидетельств при более низком их использовании.
• Разрыв с сырыми данными сохраняется даже при полном доступе к преобразованной памяти.

Что менять в практике

Первое следствие касается методики оценки. Любую новую систему памяти теперь логично сравнивать с Raw-RAG, и авторы прямо называют его обязательным базовым уровнем. Если сложная архитектура не обходит поиск по сырой истории, её стоимость и дополнительные точки отказа ничем не оправданы.

Второе следствие касается инженерии. Прежде чем строить слой, который переписывает и реорганизует память агента, имеет смысл хранить исходные реплики и измерять, какую долю нужных свидетельств достаёт поиск. Если охват высокий, а ответы всё равно слабые, проблема в читателе. Если охват низкий, надо улучшать поиск, а не пересобирать хранилище.

Третье: сжатие не бесплатно. Если в системе всё же нужны суммаризация или структурирование, исходный текст стоит держать рядом как резервный источник, чтобы можно было восстановить связи и цепочки зависимостей.

Ограничение у выводов тоже есть, и авторы формулируют его аккуратно: речь идёт о проверенных задачах понимания долгих диалогов. Утверждать, что сложная память бесполезна везде, они не берутся. Но для этого класса задач презумпция меняется: сначала нужно доказать, что усложнение лучше простой базы, а не наоборот.