В этом материале
Ответ может точно опираться на найденный контекст и оставаться неполным, если необходимый фрагмент не был найден.
Ragas context precision, context recall и faithfulness отвечают на разные вопросы о конвейере RAG. Их разделение позволяет не принять верный по контексту, но неполный ответ за успешный поиск, а релевантный найденный фрагмент — за достаточное подтверждение итогового ответа генератора.
Определить объект оценки
Каталог метрик Ragas разделяет семейства показателей и необходимые входы. Поисковые метрики рассматривают подбор контекста относительно заданной цели; faithfulness проверяет поддержку утверждений ответа переданным контекстом. Точные поля зависят от варианта метрики. Сначала выбирают реализацию, затем готовят нужную запись проверки. Нельзя предполагать, что все варианты принимают одинаковые вопросы, ответы и эталонные поля или одинаково интерпретируют отсутствие этих данных.
Подготовить взаимодополняющие подтверждения
Пусть вопрос обслуживания требует назвать проверку и срок её выполнения. Один фрагмент называет процедуру, второй задаёт интервал. Поиск только первого способен обеспечить верный по контексту частичный ответ, пропуская обязательную часть вопроса. Наличие обоих фрагментов, в свою очередь, не мешает генератору выдумать другой интервал. Пример помогает разделить полноту найденного подтверждения и поддержку того, что модель действительно написала пользователю.
| Наблюдаемое поведение | Основной вопрос разбора |
|---|---|
| Посторонние фрагменты идут первыми | Снижена ли точность контекста? |
| Фрагмент с интервалом отсутствует | Неполно ли покрытие подтверждений? |
| Ответ придумывает интервал | Есть ли неподдержанное утверждение? |
| Ответ называет только проверку | Остаётся ли верный ответ неполным? |
Разделить изменения компонентов
Исходная статья Ragas обосновывает оценку отдельных частей системы. Сначала фиксируют вопрос и контекст, меняя генератор. Затем сохраняют генератор и сравнивают найденные наборы контекста. Одновременная смена обоих компонентов скрывает причину улучшения ответа: новые подтверждения или другое поведение генерации. Порядок фрагментов тоже сохраняют, поскольку он способен повлиять на ответ даже при неизменном составе документов, выбранных поисковой частью конвейера.
Подать подходящие эталоны
Эталонный ответ, эталонный фрагмент и оценка релевантности — разные артефакты. Ответ, составленный по неполному источнику, не подтверждает полноту поиска. И наоборот, достоверный эталонный ответ способен содержать сведения, которых нет в переданном контексте. Происхождение и редакцию этих объектов сохраняют, чтобы неожиданный балл можно было разобрать, а не объявить бесспорным заключением о приложении без проверки его входных материалов и предположений.
Проверить автоматические суждения
Первичная реализация Ragas зависит от версии и, согласно выбранной метрике, может использовать модельные оценки. Сохраняют настройки проверяющего и рассматривают расхождения на небольшой вручную проверенной выборке. Убедительное объяснение оценщика способно ошибиться в техническом отрицании или перепутать редакции продукта. Числовой показатель описывает процедуру проверки, но не устраняет неопределённость её эталонов, входных данных и самого оценщика при работе с узкой предметной областью.
Показать профиль ошибок
Точность поиска, покрытие подтверждений и поддержку ответа представляют отдельно, с конкретными примерами. Нужны случай успешного поиска с ошибочной генерацией и случай верного ответа по недостаточным сведениям. Такой профиль указывает на разные исправления: подбор кандидатов, расширение покрытия, поведение инструкции или качество источников. Неразделённое среднее не показывает, какой из этих механизмов действительно требует изменения в следующем эксперименте.
Связанные материалы: Локальный RAG-сервер: какие компоненты размещать рядом с GPU; Эмбеддинги для русского языка: как проверить поиск на своих документах.