В этом материале
Префикс нормализованного вектора обычно уже не имеет единичной длины, поэтому поддерживаемые усечённые эмбеддинги могут требовать повторной нормализации.
Matryoshka embeddings сокращают только по контракту выбранной модели, одинаково обрабатывая запросы и индексируемые документы. Произвольное отрезание части любого вектора не равнозначно использованию модели, специально обученной сохранять полезную информацию в более коротких префиксах своего представления для последующего семантического поиска по корпусу.
Проверить поддержку усечения
Исходная статья Matryoshka обучает вложенные представления. Sentence Transformers описывает соответствующий подход к обучению и применению. Нужное свойство возникает при обучении, а не благодаря возможности библиотеки массивов выбрать начало вектора. До проектирования уменьшенного индекса читают карточку модели: допустимые размерности и правила подготовки. Произвольный checkpoint может не сохранять качество поиска при такой операции, даже если программа принимает полученный массив и успешно выполняет вычисление.
Определить идентичность представления
Ревизию модели, роли инструкций, размерность, усечение и нормализацию хранят совместно. Официальная карточка EmbeddingGemma служит примером модельного контракта поддерживаемых представлений. Её правила нельзя смешивать с размерностями другой модели. Запрос и документ способны иметь одинаковую длину вектора, но несовместимые пространства из-за разных checkpoint или этапов нормализации. Это различие должно отражаться в конфигурации и имени проверяемого индекса, а не оставаться скрытым внутри клиентского кода.
Провести контролируемый опыт
Берут неизменные размеченные вопросы и корпус. Для поддерживаемого полного и сокращённого представлений создают отдельные индексы, сохраняя идентификаторы документов. Запросы кодируют соответствующей конфигурацией каждого индекса. До изменения числа кандидатов сравнивают покрытие релевантных документов и расхождения ранжирования. Так смену представления отделяют от одновременного изменения поисковой политики или разбора файлов, которое иначе сделало бы причину улучшения либо ухудшения неясной для проверяющего результаты инженера.
| Изменение | Необходимое согласованное действие |
|---|---|
| Короткий поддерживаемый префикс | Пересоздать соответствующие векторы документов |
| Нормализация после усечения | Применить к запросам и документам |
| Новая ревизия checkpoint | Проверить новую идентичность представления |
| Другая инструкция запроса | Повторно проверить асимметричный поиск |
Учесть нормализацию и расстояние
Префикс нормализованного полного вектора обычно уже не имеет единичную длину. Если модель требует нормализованных сокращённых embeddings, нормализация выполняется после усечения. Выбранная операция расстояния должна соответствовать итоговому контракту. Равенство порядка для cosine и inner product зависит от конкретных предпосылок, а не названий операций. Их нужно подтвердить, а не менять метрику индекса лишь ради исчезновения заметного симптома интеграционной ошибки в одном контрольном запросе.
Не смешивать представления при переходе
Старый и новый индексы различают до приёмки замены на отложенном наборе. Один флаг payload не исправляет несовместимые векторы, уже смешанные внутри индекса. При сравнении записывают представление каждого результата и сохраняют материалы отката. Измеренное локальное изменение качества показывают отдельно от сокращения хранения векторов. Меньшие векторы действительно меняют объём представления, но сами по себе не доказывают меньшую итоговую задержку или неизменное качество ответа всего поискового конвейера.
Связанные материалы: Размерность эмбеддингов: как посчитать память индекса; Эмбеддинги текста на своём GPU: как организовать пакетную индексацию.