Статические эмбеддинги прогнали 32,9 млн текстов на ноутбуке за 35 минут

Любой, кто строил векторный поиск по большому корпусу, знает этот момент. Данные собраны, векторная база готова, а потом выясняется, что превращение текстов в эмбеддинги занимает дни. Трансформерные модели отлично схватывают смысл, но на CPU они тяжёлые. Остаётся либо ждать, либо платить за GPU. Команда Qdrant показывает третий путь: вообще не запускать нейросеть.

Как работает модель без нейросети

Статическая модель устроена почти смешно просто. Это словарь, где каждому токену из словаря модели заранее сопоставлен вектор. Чтобы получить эмбеддинг текста, нужно три шага:

1. Разбить текст на токены.
2. Достать из таблицы вектор каждого токена.
3. Усреднить эти векторы.

Никаких слоёв внимания и матричных умножений на каждый запрос нет, поэтому вся работа сводится к быстрым операциям с памятью. Потому и скорость другого порядка.

Цифры из эксперимента. С моделью potion-base-8M авторы векторизовали 32,9 млн фрагментов текста на CPU обычного ноутбука за 35 минут. Трансформерной модели на это потребовалось бы около 53 дней. Если пересчитать, разница примерно в 2000 раз. То, что раньше требовало кластера или аренды видеокарт, теперь можно сделать за время обеденного перерыва.

Где собака зарыта

Бесплатных обедов не бывает, и авторы прямо называют цену: падает качество поиска. Причина в самой конструкции. В трансформере каждый токен «смотрит» на соседей, и вектор слова зависит от контекста. В статической модели у слова один вектор на все случаи жизни.

Простой пример. Слово «ключ» в запросах «ключ от квартиры» и «ключ API» получит один и тот же вектор. Трансформер различил бы эти значения по окружению, а усреднение — нет. Ещё одна беда: усреднение теряет порядок слов. Фразы «банк выдал кредит клиенту» и «клиент выдал кредит банку» окажутся почти неотличимы.

В статье не приводятся конкретные цифры потери качества, в исходном фрагменте их нет. Поэтому слепо верить, что «и так сойдёт», нельзя. Нужно мерить на своих данных и своих запросах.

Что с этим делать на практике

Статические эмбеддинги не заменяют трансформеры везде, зато хорошо закрывают несколько типичных ситуаций:

• Прототипы и эксперименты. Когда нужно быстро проверить идею поиска на миллионах документов, а не ждать неделю, дешёвая векторизация экономит время и деньги.
• Огромные корпуса с ограниченным бюджетом. Если GPU недоступны или экономически не оправданы, можно получить рабочий индекс на обычном железе.
• Двухступенчатый поиск. Быстрая статическая модель отбирает кандидатов, а тяжёлый реранкер или трансформер упорядочивает короткий список. Грубость первого этапа тогда компенсируется вторым.
• Частые переиндексации. Если корпус обновляется, скорость становится не бонусом, а требованием.

Практический алгоритм такой. Возьмите репрезентативную выборку запросов с известными правильными ответами. Прогоните через статическую и трансформерную модели и сравните метрики поиска. Если разрыв приемлем для вашего продукта, выигрыш в стоимости и скорости окупится. Если нет, используйте статические векторы как первый этап, а не как финальный.

Главный вывод: «умная» модель не всегда нужна на каждом шаге пайплайна. Часть работы можно отдать самой простой таблице и сэкономить дни вычислений, главное — честно измерить, чем вы за это платите.