# Нейронный разреженный поиск OpenSearch: веса токенов не равны BM25

Обучаемый разреженный поиск требует согласованных словарей документов и запросов, а не только массивов идентификаторов и весов.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/opensearch-neural-sparse-vocabulary-contract/
Language: ru

Обучаемый разреженный поиск требует согласованных словарей документов и запросов, а не только массивов идентификаторов и весов. OpenSearch neural sparse search и обычный BM25 используют sparse-структуры, но не становятся взаимозаменяемыми методами оценки или представлениями из-за внешнего сходства хранения и наличия взвешенных терминов.

## Различить частоты и обученные веса

Исходная [реализация SPLADE](https://github.com/naver/splade) показывает обучаемые разреженные представления. Модель способна назначать веса измерениям словаря сверх буквального присутствия термина. BM25 использует собственные составляющие терминной оценки. Обучение и tokenizer являются частью контракта. Идентификатор имеет смысл только внутри словаря: одинаковое число другого tokenizer не обязательно обозначает то же слово или понятие. Поэтому совпадения типов данных и формы массива недостаточно для признания нового кодировщика совместимым с уже сохранёнными документными векторами действующего поискового индекса.

## Прочитать границу интеграции OpenSearch

Официальное [руководство neural sparse](https://docs.opensearch.org/latest/vector-search/ai-search/neural-sparse-search/) описывает интеграцию модели и индекса, а [репозиторий neural-search](https://github.com/opensearch-project/neural-search) предоставляет реализацию. Сохраняют ревизию, подготовку, mapping sparse-поля и правила кодирования запроса. Документированные режимы могут по-разному распределять работу между индексацией и поиском. Нельзя считать произвольную sparse-модель заменой другой без проверки входов, выходов и поддерживаемого пути. Факт успешной записи весов в поле ещё не подтверждает, что запрос интерпретирует их в нужном пространстве и использует предусмотренную схему оценки.

## Проверить буквальные совпадения и расширения

Возьмём коллекцию неисправностей с точной фразой ошибки, перефразированным объяснением и похожей фразой другого продукта. Запросим буквальную формулировку и пересказ. Проверим вклад разреженных измерений и применимость продукта. Пример отличает полезное смысловое расширение от общей близости темы, поднимающей несовместимую процедуру с убедительным баллом. Результаты сохраняют раздельно для точных и перефразированных вопросов, чтобы улучшение общего поиска не скрывало потерю важного буквального различия, от которого зависит выбор правильного руководства обслуживания.

| Часть контракта | Последствие несовместимости |
| --- | --- |
| Словарь tokenizer | Идентификаторы теряют общий смысл |
| Ревизия модели | Обученные веса могут измениться |
| Режим кодирования запроса | Контракты запроса и документа расходятся |
| Метаданные продукта | Подходящая тема ведёт к неверной применимости |

## Разделить пороги и фильтры

Минимальный балл или отсечение весов меняет выживание совпадений; фильтр применимости определяет допустимость документа. Слабая добавка к оценке не заменяет обязательное ограничение продукта. До переноса настроек проверяют pruning и inference конкретной версии. Sparse-выход не является автоматически вероятностью релевантности, а высокий вес не устанавливает достаточность ответа. Поэтому качество ранжирования, соблюдение обязательных условий и возможность ответить по найденным подтверждениям рассматривают отдельными проверками, а не одним универсальным порогом без пояснения его назначения.

## Переносить как смену представления

При смене encoder или словаря определяют необходимость пересоздания документных векторов и проверяют отдельный индекс. На отложенных вопросах сравнивают покрытие, ошибки точных терминов и пользу перефразирования. Исходный текст и происхождение кодирования сохраняют для разбора. Так получается проверяемый learned-sparse путь без обещания превосходства над BM25 и без скрытого смешения несовместимых измерений. Решение о переходе опирается на конкретные вопросы и документы, а не на общее сходство структур хранения двух разных поисковых методов.

Связанные материалы: [Embeddings и rerankers: другие задачи для свободного GPU](/ru/journal/embeddings-rerankers-gpu/); [Эмбеддинги текста на своём GPU: как организовать пакетную индексацию](/ru/journal/text-embeddings-batch/).