# Перекрытие фрагментов RAG: границы смысла и дубли доказательств

Увеличение overlap меняет и сохранность границ, и повторение доказательств в индексе RAG.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/rag-chunk-overlap-duplicate-evidence/
Language: ru

Увеличение overlap меняет и сохранность границ, и повторение доказательств в индексе RAG. Оценивайте эффекты раздельно: выдача большего числа почти одинаковых фрагментов не обязательно предоставляет больше полезной исходной информации для ответа.

## Установить единицу перекрытия

[Руководство рекурсивного splitter](https://docs.langchain.com/oss/python/integrations/splitters/recursive_text_splitter) задаёт размер и overlap вместе с функцией длины. Сохраните настоящую единицу: символы и токены модели не являются одинаковым бюджетом. Настройку из примера с подсчётом символов нельзя интерпретировать как число токенов без изменения правила измерения. Запишите также разделители: требуемое перекрытие и реальные границы не обязаны давать одинаковые строки для разных типов документов. Одного числа из файла настроек недостаточно для восстановления результата разбиения.

## Сохранить связь через границу

Возьмите отрывок, где определение и его уточнение попадают по разные стороны предполагаемого разреза. Перекрытие способно сохранить связь, но также повторяет уже доступный материал соседних фрагментов. [Концепции chunking Docling](https://docling-project.github.io/docling/concepts/chunking/) дают структурную альтернативу для отдельного контроля. Не меняйте overlap, структурную политику и embedding-модель одновременно: каждый элемент влияет на закодированные и извлекаемые доказательства. Иначе невозможно объяснить восстановление нужного текста конкретным механизмом обработки.

## Считать источники, а не только hit

Подготовьте учебный вопрос, которому нужны доказательства двух исходных документов. Несколько перекрывающихся фрагментов первого способны занять весь бюджет выдачи при отсутствии второго. Считайте уникальные релевантные source ID вместе с релевантными фрагментами. Показатели не заменяют друг друга: один диагностирует поиск отрывков, другой объясняет покрытие отдельных требований вопроса. Такое различие особенно заметно, когда соседние фрагменты почти дословно повторяют одно доказательство, не добавляя нового источника.

| Наблюдение | Обнаруживаемая ошибка |
|---|---|
| Покрытие границы | Уточнение оказалось отдельно от определения |
| Уникальные источники | Повторы вытеснили другой документ |
| Бюджет текста | Преимущество получено дополнительным объёмом |

## Сохранить бюджет сравнения

Фиксированный лимит hit не даёт равного объёма доказательств при другой длине фрагментов. Запишите число результатов и реально передаваемый дальше текст. Более длинный объединённый отрывок сам по себе не доказывает лучшую стратегию. Исследуйте повторы в конечном сериализованном контексте: удаление дублей может происходить уже после поиска и менять материал модели ответа. Сравнение только исходной выдачи тогда не описывает весь фактический путь доказательств.

## Осторожно трактовать метрики

[Справочник Ragas](https://docs.ragas.io/en/latest/concepts/metrics/available_metrics/) отделяет оценки контекста от faithfulness ответа. Релевантный повтор всё ещё способен быть избыточным для вопроса, а верный источнику ответ может пропустить ненайденное доказательство. Храните source-level разметку рядом с автоматическими баллами. Не предполагайте, что одна метрика контекста автоматически штрафует любой вид дублирования либо подтверждает полноту ответа, которому нужны несколько документов. Для этих выводов потребуются разные явно сформулированные проверки.

## Сохранить решение о перекрытии

Для каждой политики оставьте единицы splitter, разделители, настоящие диапазоны, source ID и те же отложенные вопросы. Нужны пример разрыва связи и пример большого числа повторов. Полезное решение показывает сохранённые отношения и вытесненные доказательства при выбранном бюджете. Оно не предписывает один процент каждому корпусу и не объявляет увеличенный индекс доказательством лучшего поиска без рассмотрения полученной выдачи.

Связанные материалы: [Эмбеддинги текста на своём GPU: как организовать пакетную индексацию](/ru/journal/text-embeddings-batch/); [Локальный RAG-сервер: какие компоненты размещать рядом с GPU](/ru/journal/rag-server-local-architecture/).