В этом материале
Высокая совокупная оценка эмбеддингов может скрывать ухудшение в конкретной задаче поиска или языке, нужном приложению.
Оценки MTEB и MMTEB полезны после выбора задач и языков, соответствующих будущему поиску. Среднее место в рейтинге не определяет, какая embedding-модель найдёт нужный абзац руководства, многоязычный пункт политики или пример кода в конкретной коллекции документов и запросов пользователей.
Отделить benchmark от прикладной задачи
Статья MTEB объединяет разные задачи embeddings, среди которых есть не только поиск документов. Хорошая классификация или кластеризация подтверждает качество именно этих задач, но не заменяет поисковую проверку. До сравнения сводок нужно определить отношение между входами: запрос к фрагменту, симметричное сходство или другая постановка. Удобный общий балл не должен незаметно подменять выбранную задачу приложения.
Проверить многоязычное покрытие
Статья MMTEB расширяет многоязычную оценку. Наличие языка ещё не делает каждую задачу представительной для любого предметного корпуса. Русский технический вопрос с английским номером детали отличается от обычного одноязычного сравнения предложений. Записывают язык документов, язык запросов и связь между ними. Межъязычный поиск выделяют отдельным срезом, иначе его недостатки могут полностью скрыться внутри хорошего среднего результата по нескольким языкам.
Составить матрицу выбора
Представим двуязычную библиотеку оборудования. Пользователи задают короткие вопросы о неисправностях, ищут точные идентификаторы и сопоставляют описания. Это разные потребности. Задачи benchmark помогают отобрать кандидатов, после чего каждого испытывают на отложенных вопросах библиотеки. Случаи точных идентификаторов оставляют видимыми: семантическая близость сама по себе не гарантирует сохранения различий между кодами почти одинаковых компонентов оборудования.
| Срез нагрузки | Вопрос при отборе |
|---|---|
| Короткий вопрос к абзацу | Представлена ли асимметричная поисковая задача? |
| Русский вопрос к английскому руководству | Проверено ли нужное направление языков? |
| Точный код компонента | Сохраняет ли локальный тест буквальные различия? |
| Похожие описания | Действительно ли требуется симметричное сходство? |
Зафиксировать программу и контракт модели
Текущий репозиторий MTEB содержит задачи и интерфейсы оценки. Сохраняют его ревизию, выбранные задачи, версии наборов и ревизию модели. Инструкции запросов, pooling, нормализация и усечение входят в конфигурацию модели. Числа с разными редакциями задач или обработкой входа способны представить изменение проверки как улучшение модели, даже когда отображаемые названия моделей остались полностью прежними и кажутся непосредственно сопоставимыми.
Прочитать правила агрегации
Среднее объединяет разные задачи, языки и размеры наборов в краткую сводку. Нужно понять способ её расчёта и наличие пропусков. Модель может улучшить среднее, одновременно ухудшив важный локальный язык или тип документа. Рядом со сводкой показывают результаты нужных задач, а эксплуатационные ограничения рассматривают отдельно от измеренного качества. Стоимость вычислений не является доказательством высокой или низкой поисковой релевантности.
Сделать выбор проверяемым
Итоговое решение указывает benchmark-подтверждения, локальный набор и оставшиеся пробелы каждого кандидата. Опубликованные производителем оценки не называют собственными измерениями. В списке может остаться компактная модель с достаточным локальным качеством либо крупная модель, заметно улучшающая сложный срез. Оба вывода требуют подтверждений конкретной нагрузки, а не универсальной рекомендации, автоматически выведенной из позиции общего рейтинга.
Связанные материалы: Эмбеддинги для русского языка: как проверить поиск на своих документах; Эмбеддинги текста на своём GPU: как организовать пакетную индексацию.