В этом материале
Вместимость BGE reranker проверяют на реальных длинах пар и размере пакета, сохраняя качество ранжирования и задержку запроса.
Для BGE reranker на GPU сначала выбирают конкретную модель, затем измеряют память и задержку на парах «запрос — документ» своей длины. Размер файла весов не определяет максимальный пакет: во время обработки нужны дополнительные рабочие данные, а длинные фрагменты меняют нагрузку.
Такой тест полезен владельцу свободной видеокарты, который рассматривает её для поискового сервиса. Повторное ранжирование может стать отдельной задачей пилота, но подходящую конфигурацию подтверждают измерением, а не принадлежностью карты к определённой серии.
Уточните роль модели
В карточке BAAI/bge-reranker-v2-m3 описана оценка релевантности пары текста. Выходом служит оценка для ранжирования, а не вектор документа. Поэтому загрузка reranker не заменяет построение индекса эмбеддингов.
Сначала поиск возвращает ограниченный набор кандидатов. Затем reranker меняет их порядок, после чего выбранные фрагменты могут попасть в контекст генеративной модели. Эти этапы имеют разные ресурсы и собственные ограничения времени.
Подготовьте три группы входов
Соберите короткие, типичные и длинные пары из разрешённых данных. Сохраните длины после токенизации, правило обрезки и число кандидатов на запрос. Одинаковое число документов не означает одинаковый вычислительный объём, если их длины существенно различаются.
| Группа | Что меняется | Что измерить |
|---|---|---|
| Короткие пары | Небольшая длина документа | Накладные расходы запроса |
| Типичные пары | Обычные фрагменты базы | Рабочую задержку и память |
| Длинные пары | Хвост распределения длины | Пик памяти и обрезку |
| Смешанный пакет | Разная длина одновременно | Влияние упаковки пакета |
Это план эксперимента, а не опубликованный бенчмарк BGE. Реальные границы групп выбирают по своему набору, сохраняя исходные идентификаторы примеров.
Увеличивайте пакет постепенно
Начните с одного запроса и небольшого числа кандидатов. Затем увеличивайте пакет, фиксируя пик VRAM, завершённые пары в секунду и полное время ответа. Отдельно проведите запуск после загрузки модели и повторные запросы в уже работающем процессе.
Официальный проект FlagEmbedding предоставляет средства применения и оценки BGE. Версию библиотеки, модель и числовой формат сохраните вместе с результатами. Изменение точности вычислений требует повторной проверки качества, даже если запуск стал быстрее.
Сравните полезный результат
Подготовьте небольшой набор запросов с отмеченными релевантными фрагментами. Проверьте, какие документы попали в первые позиции до и после повторного ранжирования. Высокая скорость обработки пар бесполезна, если сервис систематически поднимает неподходящие документы.
Не считайте преобразованную оценку универсальной вероятностью правильного ответа. Для порога отсечения нужна отдельная проверка на своём наборе. Также полезно сохранить случаи, где обрезка длинного документа убрала важный фрагмент.
Отдельно проверьте пустой список кандидатов и повторяющиеся идентификаторы. Эти случаи относятся к контракту сервиса и должны давать понятный результат без случайной перестановки документов.
Опишите предел пилота
В итоговой карточке укажите число кандидатов, разрешённую длину пары, размер пакета и допустимую очередь. Эти сведения дополняют обзор GPU для эмбеддингов и reranker и методику измерения инференса.
Конкретная поисковая задача и обезличенный профиль входов помогут обсуждать применимость оборудования предметно.