# Ragas context precision, recall и faithfulness измеряют разные ошибки

Ragas context precision, context recall и faithfulness отвечают на разные вопросы о конвейере RAG.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/ragas-retrieval-faithfulness-metric-boundaries/
Language: ru

Ragas context precision, context recall и faithfulness отвечают на разные вопросы о конвейере RAG. Их разделение позволяет не принять верный по контексту, но неполный ответ за успешный поиск, а релевантный найденный фрагмент — за достаточное подтверждение итогового ответа генератора.

## Определить объект оценки

[Каталог метрик Ragas](https://docs.ragas.io/en/latest/concepts/metrics/available_metrics/) разделяет семейства показателей и необходимые входы. Поисковые метрики рассматривают подбор контекста относительно заданной цели; faithfulness проверяет поддержку утверждений ответа переданным контекстом. Точные поля зависят от варианта метрики. Сначала выбирают реализацию, затем готовят нужную запись проверки. Нельзя предполагать, что все варианты принимают одинаковые вопросы, ответы и эталонные поля или одинаково интерпретируют отсутствие этих данных.

## Подготовить взаимодополняющие подтверждения

Пусть вопрос обслуживания требует назвать проверку и срок её выполнения. Один фрагмент называет процедуру, второй задаёт интервал. Поиск только первого способен обеспечить верный по контексту частичный ответ, пропуская обязательную часть вопроса. Наличие обоих фрагментов, в свою очередь, не мешает генератору выдумать другой интервал. Пример помогает разделить полноту найденного подтверждения и поддержку того, что модель действительно написала пользователю.

| Наблюдаемое поведение | Основной вопрос разбора |
| --- | --- |
| Посторонние фрагменты идут первыми | Снижена ли точность контекста? |
| Фрагмент с интервалом отсутствует | Неполно ли покрытие подтверждений? |
| Ответ придумывает интервал | Есть ли неподдержанное утверждение? |
| Ответ называет только проверку | Остаётся ли верный ответ неполным? |

## Разделить изменения компонентов

Исходная [статья Ragas](https://arxiv.org/abs/2309.15217) обосновывает оценку отдельных частей системы. Сначала фиксируют вопрос и контекст, меняя генератор. Затем сохраняют генератор и сравнивают найденные наборы контекста. Одновременная смена обоих компонентов скрывает причину улучшения ответа: новые подтверждения или другое поведение генерации. Порядок фрагментов тоже сохраняют, поскольку он способен повлиять на ответ даже при неизменном составе документов, выбранных поисковой частью конвейера.

## Подать подходящие эталоны

Эталонный ответ, эталонный фрагмент и оценка релевантности — разные артефакты. Ответ, составленный по неполному источнику, не подтверждает полноту поиска. И наоборот, достоверный эталонный ответ способен содержать сведения, которых нет в переданном контексте. Происхождение и редакцию этих объектов сохраняют, чтобы неожиданный балл можно было разобрать, а не объявить бесспорным заключением о приложении без проверки его входных материалов и предположений.

## Проверить автоматические суждения

[Первичная реализация Ragas](https://github.com/vibrantlabsai/ragas) зависит от версии и, согласно выбранной метрике, может использовать модельные оценки. Сохраняют настройки проверяющего и рассматривают расхождения на небольшой вручную проверенной выборке. Убедительное объяснение оценщика способно ошибиться в техническом отрицании или перепутать редакции продукта. Числовой показатель описывает процедуру проверки, но не устраняет неопределённость её эталонов, входных данных и самого оценщика при работе с узкой предметной областью.

## Показать профиль ошибок

Точность поиска, покрытие подтверждений и поддержку ответа представляют отдельно, с конкретными примерами. Нужны случай успешного поиска с ошибочной генерацией и случай верного ответа по недостаточным сведениям. Такой профиль указывает на разные исправления: подбор кандидатов, расширение покрытия, поведение инструкции или качество источников. Неразделённое среднее не показывает, какой из этих механизмов действительно требует изменения в следующем эксперименте.

Связанные материалы: [Локальный RAG-сервер: какие компоненты размещать рядом с GPU](/ru/journal/rag-server-local-architecture/); [Эмбеддинги для русского языка: как проверить поиск на своих документах](/ru/journal/embeddings-russian-retrieval/).