В этом материале
Поддержка цитатой и полнота цитирования проверяются отдельно: одна ссылка может подтверждать только часть предложения.
У качества цитирования есть разные стороны: поддерживают ли приложенные источники утверждение и получили ли важные утверждения ссылки вообще. Ответ способен правильно оформить ссылку на постороннюю страницу либо точно процитировать одно предложение, оставив остальное фактическое содержание без подтверждения в доступных источниках.
Выделить утверждения до подсчёта ссылок
Исследование ALCE рассматривает цитирование шире проверки наличия маркеров. Ответ разбивают на фактические утверждения и сохраняют фрагменты источников, доступные генератору. Одни маркеры не показывают поддержку или полноту. Абзац со ссылкой в конце может включать несколько утверждений, из которых источник подтверждает только часть. Поэтому единица проверки должна соответствовать содержанию, а не случайной границе предложения либо визуальному расположению номера ссылки в тексте ответа.
Различить точность и полноту
В репозитории ALCE находится первичный механизм оценки. Точность цитирования относится к полезности ссылок как подтверждений связанных утверждений; полнота — к покрытию утверждений, которым нужны источники. Оба измерения отделяют от правильности ответа. Утверждение может быть истинным по внешнему знанию, но неподтверждённым приложенным фрагментом. Ссылка может точно подтверждать устаревшую инструкцию, которая не подходит к вопросу о текущей редакции оборудования или действующей процедуре обслуживания.
Разобрать смешанную поддержку
Пусть ответ сообщает, что компонент требует проверки, интервал является ежегодным, а растворитель допустим любой. Цитируемый фрагмент подтверждает проверку и интервал, но не называет растворитель. Последнее утверждение рассматривают отдельно вместо признания подтверждённым всего предложения. Такой иллюстративный набор обнаруживает оценщик, который автоматически распространяет близкую ссылку на любое соседнее утверждение. Важно сохранить точную формулировку ответа, чтобы последующее редактирование не скрывало первоначальную неподдержанную добавку генератора.
| Утверждение | Отношение к источнику | Результат разбора |
|---|---|---|
| Проверка обязательна | Явно подтверждено | Поддержанное утверждение |
| Интервал ежегодный | Явно подтверждено | Поддержанное утверждение |
| Допустим любой растворитель | Не установлено | Неподдержанная добавка |
Сохранить разрешение ссылок
Хранят редакцию документа, идентификатор фрагмента и реально цитируемое содержание. URL, который теперь открывает новую редакцию, не восстанавливает подтверждение исходного ответа. Официальный код оценки позволяет изучить принятые предположения. Процесс разбора приспосабливают к формату цитат, не считая, что каждый номер обязательно соответствует независимому фрагменту. Неразрешимую ссылку отмечают отдельно от ошибки логической поддержки: у этих проблем разные причины и разные способы исправления в приложении.
Совместно оценить поддержку и полезность
Итог показывает неподдержанные утверждения, отсутствующие ссылки и ненужные источники рядом с правильностью ответа. Технические условия, исключения и отрицания проверяют вручную: фрагмент способен обосновывать только более узкое утверждение. Не следует поощрять накопление ссылок, поскольку множество документов само по себе не улучшает обоснование. Полезная цель — короткий восстанавливаемый путь от существенного утверждения к подтверждению его границ, редакции и применимости к конкретному вопросу пользователя.
Связанные материалы: Локальный RAG-сервер: какие компоненты размещать рядом с GPU; GPU-конвейер OCR для PDF: как оценить сервер на 1000 страниц.