# BEIR qrels: неразмеченный фрагмент не является подтверждённо нерелевантным

Отсутствующая оценка релевантности BEIR не означает, что фрагмент проверен и признан нерелевантным.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/beir-qrels-unjudged-retrieval-evaluation/
Language: ru

Отсутствующая оценка релевантности BEIR не означает, что фрагмент проверен и признан нерелевантным. При создании поискового теста нужно различать неразмеченные материалы и явно рассмотренные отрицательные примеры, особенно если новый поисковый алгоритм сравнивают по неполному пулу человеческих оценок документов.

## Разделить объекты набора

В [репозитории BEIR](https://github.com/beir-cellar/beir) отдельно представлены корпус, запросы и оценки релевантности, обычно называемые qrels. Идентификаторы корпуса связывают фрагменты с оценками, идентификаторы запросов — вопросы с целевыми документами. Соединение по позиции строки или заново созданным номерам незаметно меняет задачу. Идентификаторы следует считать устойчивыми ключами и проверять наличие каждого упомянутого документа после всех этапов предварительной обработки и фильтрации корпуса.

## Понять отсутствие разметки

[Статья BEIR](https://arxiv.org/abs/2104.08663) рассматривает разнородные поисковые задачи, а не объявляет каждый элемент корпуса исчерпывающе размеченным. Программа расчёта метрики неизбежно придаёт отсутствующей оценке определённые последствия, однако это не создаёт новую человеческую оценку. Поисковик способен найти полезный фрагмент вне прежнего пула разметки. Перед объявлением улучшения или ложного срабатывания этот результат нужно отдельно рассмотреть по исходному вопросу и содержанию документа.

## Собрать пример с явными статусами

Возьмём вопрос обслуживания с размеченной полезной инструкцией, проверенным посторонним паспортом и недавно найденной заметкой о неисправностях. Заметка пока не размечена. В таблице разбора сохраняют этот статус, а не присваивают ей выдуманную отрицательную метку. Если проверяющие позднее признают её релевантной, qrels получают новую версию, после чего обе системы заново оценивают на одном и том же обновлённом наборе.

| Фрагмент | Статус оценки | Значение результата |
| --- | --- | --- |
| Инструкция | Релевантный | Известное подтверждающее содержание |
| Паспорт другого продукта | Проверенный нерелевантный | Явный отрицательный пример |
| Заметка о неисправности | Неразмеченный | Нужна оценка до интерпретации |

## Проверить входы до расчёта

Официальная [реализация оценки](https://github.com/beir-cellar/beir/blob/main/beir/retrieval/evaluation.py) принимает qrels и результаты поиска с ключами-идентификаторами. Перед чтением общей метрики проверяют несколько таких соединений. Удаление документов без изменения оценок меняет достижимую полноту. Исключение вопросов без удобного ответа меняет оцениваемую совокупность. Каждое преобразование требует явной версии набора и объяснения; красивой итоговой таблицы для этого недостаточно, поскольку она скрывает изменение самой проверяемой задачи.

## Отделить вычисление от пересмотра

Исходную оценку benchmark сохраняют для воспроизводимости, а рассмотренные ошибки описывают отдельно. Нельзя незаметно переписать разметку только потому, что предпочитаемая система вернула правдоподобный текст. Проверяющие оценивают релевантность по вопросу и источнику, по возможности не зная поисковик. Градуированную релевантность, бинарную релевантность и достаточность для ответа различают согласно выбранному определению задачи и не заменяют одно понятие другим при обсуждении результатов.

## Опубликовать границы проверки

Полезный отчёт указывает редакцию корпуса, раздел запросов, версию qrels, фильтрацию документов и обработку неразмеченных результатов. В него включают примеры расхождений систем и отмечают нерешённые случаи. Так числа остаются понятными без предположения об исчерпывающей разметке. Цель — устойчивое сравнение и обоснованный разбор ошибок, а не превращение каждой отсутствующей метки в уверенность о реальном содержании документа.

Связанные материалы: [Эмбеддинги для русского языка: как проверить поиск на своих документах](/ru/journal/embeddings-russian-retrieval/); [Бенчмарк GPU для инференса, которому можно доверять](/ru/journal/inference-benchmark-method/).