В этом материале
Контролируемый тест отвлекающих фрагментов сохраняет исходные релевантные доказательства и целевой ответ, меняя только добавленный контекст.
Тесты устойчивости RAG к шуму меняют окружающий контекст при неизменном вопросе и целевом ответе. Так можно увидеть влияние посторонних или вводящих в заблуждение фрагментов, не смешивая устойчивость с другой поисковой задачей либо заново определённым эталоном, который уже допускает иной результат.
Сначала определить подтверждённый ответ
Выбирают вопрос с ясным ответом по источнику и сохраняют нужное подтверждение. Каталог метрик Ragas отличает noise sensitivity от других измерений оценки. Неполный или спорный эталон делает опыт неоднозначным: изменившийся ответ может оказаться исправлением, а не ошибкой от шума. До создания отвлекающих фрагментов проверяют эталон и сохраняют точную редакцию источника, устанавливающую требуемый ответ. Это позволяет позднее разобрать спор без догадок о первоначальной цели.
Создать согласованные варианты контекста
Возьмём вопрос о проверке оборудования, применимой к текущей редакции. Чистый вариант содержит нужную процедуру. Другой вариант добавляет постороннюю сервисную заметку; следующий — устаревшую процедуру с похожими словами. Действующая процедура остаётся в каждом варианте. Добавления проверяют разные механизмы: отвлечение нерелевантным текстом и смешение внешне подходящих, но несовместимых подтверждений. Их нельзя объединять без сохранения отдельных меток, иначе общий результат скроет причину ошибки.
| Вариант | Добавленный материал | Цель разбора |
|---|---|---|
| Чистый контекст | Отсутствует | Исходное поведение ответа |
| Постороннее дополнение | Заметка о другом оборудовании | Устойчивость к нерелевантному тексту |
| Конфликт редакций | Устаревшая процедура | Выбор применимого подтверждения |
Сохранить контролируемые переменные
Документация noise sensitivity описывает входы и толкование конкретной метрики. При смене добавленного фрагмента сохраняют вопрос, эталон, конфигурацию генератора и исходное подтверждение. Порядок фрагментов фиксируют отдельно: перемещение нужного текста тоже способно менять поведение. Если опыт дополнительно удаляет релевантный источник, это уже проверка возможности ответа. Её выделяют самостоятельным условием, а не называют любую ошибку чувствительностью к шуму без уточнения изменения состава контекста.
Проверять утверждения, а не гладкость
Сравнивают, сохранил ли ответ применимую процедуру, перенял устаревшую инструкцию или добавил неподдержанные детали. Красиво написанный текст способен выбрать неверную редакцию. Короткий ответ, наоборот, может остаться правильным. Модельный оценщик помогает разобрать утверждения, но первичная реализация не превращает его суждения в доказанную истину. Случаи технических отрицаний, применимости версии и частично подтверждённых инструкций рассматривают вручную, возвращаясь к исходному документу и конкретному вопросу пользователя.
Представить ошибки по механизму
Показывают согласованные контексты и изменение ответов, а не только один показатель устойчивости. Разделяют посторонний текст, общую лексику и конфликтующие редакции. Объясняют, вызвана ли ошибка выбором источника, неподдержанным объединением или полной потерей ответа. Результат помогает выбрать фильтрацию метаданных, построение контекста или инструкцию генерации. Он не устанавливает устойчивость к произвольным документам и не должен выдавать смену эталонного ответа за улучшение работы системы при шуме.
Связанные материалы: Reranker в RAG: сколько документов передавать на повторную оценку; Локальный RAG-сервер: какие компоненты размещать рядом с GPU.