Исследователи объяснили темами 86% разрыва в тесте персонализации LLM

Вы добавили в помощника историю чтения, и он стал точнее подбирать новости. Кажется, память заработала. Но есть более простое объяснение: модель заметила, что человек любит технологии. Чтобы проверить пользу именно личной истории, стоит дать ей историю другого любителя технологий и сравнить результат. Такой тест помогает понять, за что вы платите сложностью системы.

В работе Not Your Diary, Just Your Topic исследователи разбирают эту проблему на задаче определения категории новости. Практический вопрос здесь понятный: сколько пользы приносит информация о конкретном человеке сверх знания его любимых тем?

Чужая история бывает слишком удобным соперником

Представьте двух читателей. Оба следят за технологиями, но один интересуется инструментами разработчика, другой — потребительскими устройствами. Есть и третий читатель, который открывает преимущественно спортивные новости.

Если заменить историю первого читателя историей третьего, ухудшение результата мало удивит. Вы одновременно убрали сведения о человеке и поменяли тематику. Из такого сравнения трудно понять, какой именно сигнал потеряла модель.

История второго читателя — более требовательная проверка. Общий интерес сохраняется, а индивидуальные предпочтения отличаются. Этот пример иллюстрирует устройство теста; он не описывает отдельных участников исследования.

Для продуктовой команды разница существенная. После слабого контрольного теста легко решить, что нужны подробные профили, больше сохранённых событий и сложная обработка памяти. Однако сначала полезно проверить дешёвую альтернативу: достаточно ли нескольких категорий интересов для вашей задачи?

Что получилось в эксперименте

Авторы использовали замороженную языковую модель и набор LaMP-2. Личная история дала прирост точности на 2,3 процентного пункта относительно модели, обученной без истории. Если убрать историю только при проверке, оценка прироста вырастает до 4,8 пункта. Одни названия категорий воспроизвели 86% разрыва между собственной историей и историей случайного пользователя. Когда исследователи составили искусственные истории с похожими категориями и текстами, разрыв сократился до 0,9 пункта. Эти результаты приведены в описании исследования.

Важно правильно прочитать число 86%. Это доля конкретного разрыва в эксперименте, а не точность модели и не оценка бесполезности всей персонализации.

Для пользователей, которых модель не видела при обучении, преимущество своей истории над историей похожего человека составило 0,65 процентного пункта. Авторы считают свидетельства такого преимущества неубедительными. Работа ограничена выбранной задачей и условиями эксперимента; переносить вывод на разговорных помощников целиком рано. Источник.

Как применить это перед разработкой памяти

Допустим, вы делаете ежедневный дайджест для специалистов. Начните с вопроса, что именно должен улучшить профиль: выбор темы, глубину материала, разнообразие выдачи или вероятность прочтения. Для каждого ответа потребуется своя проверка. Попадание в категорию ещё не означает, что человек получил полезную подборку.

Затем подготовьте несколько вариантов входных данных: короткий список интересов, личную историю и историю другого человека с близкими интересами. Добавьте вариант без истории, учитывая, как система обучалась её использовать. Это предложение для собственного эксперимента, а не готовый рецепт, проверенный авторами для любого продукта.

Отдельно посмотрите на новых пользователей. На практике именно у них профиль бывает коротким, а привычки ещё неизвестны. Если выигрыш появляется только у давно знакомых системе людей, это повлияет и на запуск продукта, и на обещания в интерфейсе.

Результат такого сравнения поможет выбрать следующий шаг. Если короткого профиля хватает, его можно взять за отправную точку и усложнять систему после измеримого улучшения. Если личная история помогает даже против похожой чужой, стоит выяснить, какие события дают прибавку. Так у команды появится конкретное основание хранить и обрабатывать дополнительные данные: польза, которую удалось отделить от простого совпадения тем.