# Sparse IDF в Qdrant: изменения корпуса и оценка запроса

Оценки sparse IDF в Qdrant могут меняться при обновлении корпуса даже без изменения запроса и сохранённых документных векторов.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/qdrant-sparse-idf-corpus-updates/
Language: ru

Оценки sparse IDF в Qdrant могут меняться при обновлении корпуса даже без изменения запроса и сохранённых документных векторов. Статистику корпуса учитывают как часть контекста скоринга, особенно при разборе сдвига ранжирования после массового добавления, удаления или изменения состава документов разных арендаторов внутри коллекции.

## Разделить векторы и частотную статистику

Официальный [справочник векторов](https://qdrant.tech/documentation/manage-data/vectors/) описывает sparse-представления отдельно от dense. [Документация индексации](https://qdrant.tech/documentation/manage-data/indexing/) объясняет IDF modifier, меняющий sparse-запрос по статистике текущих документов. Это не означает, что любое разреженное представление уже содержит нужную обработку IDF. Перед совместным применением независимо рассчитанных весов и автоматического модификатора проверяют выход encoder и настройки коллекции. Иначе частотный вклад может обрабатываться не так, как предполагает выбранная формула поиска, хотя технически запрос выполнится и вернёт правдоподобные результаты.

## Проверить область статистики

Текущая документация индексации указывает расчёт IDF по shard и отдельный механизм ограничения статистики подмножеством точек. Фильтр арендатора не следует автоматически считать включением tenant-specific статистики. Область скоринга сохраняют рядом с фильтрами и организацией shard. Иначе изменение ранжирования ошибочно припишут кодировщику, хотя изменилась совокупность определения редкости термина. Это особенно важно при объединении тематически разных коллекций в общую структуру, где один и тот же термин имеет разную частоту в отдельных предметных областях.

## Подготовить пример изменения корпуса

Начнём с небольшой технической коллекции и редкого термина компонента. Добавим пакет, где этот термин распространён, затем повторим неизменный запрос к прежним релевантным документам. Рассмотрим sparse-оценки и порядок кандидатов. Это иллюстративный опыт, а не прогноз конкретного измеренного направления для каждого результата: вклады разных терминов взаимодействуют в итоговой оценке. Сохранённые состояния до и после позволяют увидеть именно влияние статистики, не смешивая его с новой моделью, разбором документов или другой инструкцией запроса.

| Контролируемый артефакт | Зачем его сохранять |
| --- | --- |
| Вектор запроса до модификации | Подтверждает неизменный выход encoder |
| Снимок коллекции и shard | Определяет частотную совокупность |
| Настройки модификатора и области | Определяют взвешивание запроса |
| Sparse-кандидаты | Показывают смену оценок и порядка |

## Объяснить влияние на hybrid

[Документация hybrid-запросов](https://qdrant.tech/documentation/search/hybrid-queries/) описывает объединение путей кандидатов. Изменение IDF влияет не только на балл прежнего результата, но и на попадание sparse-кандидатов в fusion. Объединение по рангам и по оценкам реагирует разными механизмами. До рассмотрения итога сохраняют отдельные sparse- и dense-списки. Иначе отсутствие документа выглядит ошибкой fusion, хотя он был исключён раньше. Такой разбор показывает конкретный этап потери кандидата, а не предлагает безусловно менять веса объединения при любом изменении общего рейтинга.

## Проверить дрейф на воспроизводимом корпусе

Вместе с тестом релевантности сохраняют редакцию корпуса, область статистики, представление запроса и настройки кандидатов. После существенных изменений повторяют важные вопросы, особенно между арендаторами и областями. Ожидаемую адаптацию статистики отличают от несовместимого encoder и случайных дублей. Так sparse-ранжирование остаётся понятным без обещания постоянных оценок растущего корпуса и без предположения, что фиксированный порог независим от коллекции, предоставляющей частотную статистику для расчёта ответа на каждый запрос.

Связанные материалы: [Qdrant для RAG: что хранить в RAM, а что на диске](/ru/journal/qdrant-memory-on-disk/); [Эмбеддинги текста на своём GPU: как организовать пакетную индексацию](/ru/journal/text-embeddings-batch/).