Rubric4Setwise: оценка наборов документов для RAG вместо ранжирования по релевантности

Исследователи в июле 2026 года представили SetwiseEvalKit — бенчмарк для оценки качества целого набора документов в поиске для больших языковых моделей, и training-free метод Rubric4Setwise. При проверке 12 реранкеров даже лучший из них покрыл не более 45% оценочных критериев.

Что не так с оценкой по релевантности

Существующие системы оценки поиска ранжируют каждый документ независимо и складывают результат в метрику nDCG, игнорируя связи между документами. По данным исследования на arXiv, такой подход не замечает избыточности (когда документы дублируют друг друга), конфликтов (когда данные противоречат) и взаимодополняемости — и потому не может ответить на главный вопрос: почему один набор документов лучше другого.

Это критично, потому что языковые модели и AI-агенты стали основными потребителями результатов поиска: качество набора документов задаёт верхнюю границу качества итоговой генерации. Плохой набор — плохой ответ, каким бы сильным ни был reranker.

Как устроен SetwiseEvalKit

SetwiseEvalKit — это бенчмарк из трёх уровней и девяти измерений, который оценивает набор документов целиком, а не по отдельности. Он охватывает и короткие, и длинные сценарии генерации и содержит около 28 000 качественных оценочных критериев (rubrics).

• Три уровня и девять измерений оценки набора документов
• Около 28 000 оценочных критериев (rubrics)
• Покрытие и short-form, и long-form сценариев
• Отдельные измерения на координацию между документами: избыточность, конфликт, взаимодополняемость

Именно эти «наборные» измерения ломают привычную логику: документ может быть релевантным сам по себе, но вредить набору — дублируя соседа или противореча ему.

Что показал тест 12 реранкеров

Ни один из 12 протестированных реранкеров не справился с задачей: лучший метод достиг не более 45% покрытия критериев, а измерения на координацию между документами оказались слабыми у всех без исключения. Ни один метод не удержал лидерство одновременно в коротких и длинных сценариях — сильный в одном режиме проседал в другом.

«Даже лучший метод достигает не более 45% покрытия, а измерения

межтекстовой координации универсально слабы», — говорится в статье исследователей на arXiv.

Чем помогает Rubric4Setwise

Rubric4Setwise — training-free метод (не требует обучения), который превращает критерии из rubric-оценки в сигналы для отбора набора документов. Согласно исследованию, он даёт лучшую итоговую генерацию при меньшем числе документов и меньшем числе раундов поиска. Это единственный метод, который удержал state-of-the-art результат в обоих сценариях — коротком и длинном, — замкнув цикл «оценка → диагностика → оптимизация».

Что это значит

По мере того как LLM и агенты вытесняют человека из чтения поисковой выдачи, важнее становится не «самый релевантный документ», а качество всего набора. SetwiseEvalKit показывает, что нынешние реранкеры к этому не готовы, а Rubric4Setwise намекает, как это чинить — без дообучения и с экономией на числе источников.

Частые вопросы

Что такое Rubric4Setwise?

Rubric4Setwise — training-free метод отбора набора документов для поиска под LLM. Он конвертирует критерии rubric-оценки в сигналы отбора и достигает лучшей генерации при меньшем числе документов и раундов поиска.

Чем оценка набора документов отличается от обычного ранжирования?

Обычное ранжирование через nDCG оценивает каждый документ отдельно и не видит связей между ними. Оценка набора учитывает избыточность, конфликты и взаимодополняемость документов — то есть качество выборки целиком, а не сумму отдельных оценок.