В этом материале
Согласно документации Qdrant, статистика IDF относится к шарду; фильтр арендатора автоматически не делает эту статистику отдельной для арендатора.
Оценки sparse IDF в Qdrant могут меняться при обновлении корпуса даже без изменения запроса и сохранённых документных векторов. Статистику корпуса учитывают как часть контекста скоринга, особенно при разборе сдвига ранжирования после массового добавления, удаления или изменения состава документов разных арендаторов внутри коллекции.
Разделить векторы и частотную статистику
Официальный справочник векторов описывает sparse-представления отдельно от dense. Документация индексации объясняет IDF modifier, меняющий sparse-запрос по статистике текущих документов. Это не означает, что любое разреженное представление уже содержит нужную обработку IDF. Перед совместным применением независимо рассчитанных весов и автоматического модификатора проверяют выход encoder и настройки коллекции. Иначе частотный вклад может обрабатываться не так, как предполагает выбранная формула поиска, хотя технически запрос выполнится и вернёт правдоподобные результаты.
Проверить область статистики
Текущая документация индексации указывает расчёт IDF по shard и отдельный механизм ограничения статистики подмножеством точек. Фильтр арендатора не следует автоматически считать включением tenant-specific статистики. Область скоринга сохраняют рядом с фильтрами и организацией shard. Иначе изменение ранжирования ошибочно припишут кодировщику, хотя изменилась совокупность определения редкости термина. Это особенно важно при объединении тематически разных коллекций в общую структуру, где один и тот же термин имеет разную частоту в отдельных предметных областях.
Подготовить пример изменения корпуса
Начнём с небольшой технической коллекции и редкого термина компонента. Добавим пакет, где этот термин распространён, затем повторим неизменный запрос к прежним релевантным документам. Рассмотрим sparse-оценки и порядок кандидатов. Это иллюстративный опыт, а не прогноз конкретного измеренного направления для каждого результата: вклады разных терминов взаимодействуют в итоговой оценке. Сохранённые состояния до и после позволяют увидеть именно влияние статистики, не смешивая его с новой моделью, разбором документов или другой инструкцией запроса.
| Контролируемый артефакт | Зачем его сохранять |
|---|---|
| Вектор запроса до модификации | Подтверждает неизменный выход encoder |
| Снимок коллекции и shard | Определяет частотную совокупность |
| Настройки модификатора и области | Определяют взвешивание запроса |
| Sparse-кандидаты | Показывают смену оценок и порядка |
Объяснить влияние на hybrid
Документация hybrid-запросов описывает объединение путей кандидатов. Изменение IDF влияет не только на балл прежнего результата, но и на попадание sparse-кандидатов в fusion. Объединение по рангам и по оценкам реагирует разными механизмами. До рассмотрения итога сохраняют отдельные sparse- и dense-списки. Иначе отсутствие документа выглядит ошибкой fusion, хотя он был исключён раньше. Такой разбор показывает конкретный этап потери кандидата, а не предлагает безусловно менять веса объединения при любом изменении общего рейтинга.
Проверить дрейф на воспроизводимом корпусе
Вместе с тестом релевантности сохраняют редакцию корпуса, область статистики, представление запроса и настройки кандидатов. После существенных изменений повторяют важные вопросы, особенно между арендаторами и областями. Ожидаемую адаптацию статистики отличают от несовместимого encoder и случайных дублей. Так sparse-ранжирование остаётся понятным без обещания постоянных оценок растущего корпуса и без предположения, что фиксированный порог независим от коллекции, предоставляющей частотную статистику для расчёта ответа на каждый запрос.
Связанные материалы: Qdrant для RAG: что хранить в RAM, а что на диске; Эмбеддинги текста на своём GPU: как организовать пакетную индексацию.