В этом материале
Перекрытие может сохранить разделённое уточнение и одновременно вытеснить доказательства из другого источника повторяющимися чанками.
Увеличение overlap меняет и сохранность границ, и повторение доказательств в индексе RAG. Оценивайте эффекты раздельно: выдача большего числа почти одинаковых фрагментов не обязательно предоставляет больше полезной исходной информации для ответа.
Установить единицу перекрытия
Руководство рекурсивного splitter задаёт размер и overlap вместе с функцией длины. Сохраните настоящую единицу: символы и токены модели не являются одинаковым бюджетом. Настройку из примера с подсчётом символов нельзя интерпретировать как число токенов без изменения правила измерения. Запишите также разделители: требуемое перекрытие и реальные границы не обязаны давать одинаковые строки для разных типов документов. Одного числа из файла настроек недостаточно для восстановления результата разбиения.
Сохранить связь через границу
Возьмите отрывок, где определение и его уточнение попадают по разные стороны предполагаемого разреза. Перекрытие способно сохранить связь, но также повторяет уже доступный материал соседних фрагментов. Концепции chunking Docling дают структурную альтернативу для отдельного контроля. Не меняйте overlap, структурную политику и embedding-модель одновременно: каждый элемент влияет на закодированные и извлекаемые доказательства. Иначе невозможно объяснить восстановление нужного текста конкретным механизмом обработки.
Считать источники, а не только hit
Подготовьте учебный вопрос, которому нужны доказательства двух исходных документов. Несколько перекрывающихся фрагментов первого способны занять весь бюджет выдачи при отсутствии второго. Считайте уникальные релевантные source ID вместе с релевантными фрагментами. Показатели не заменяют друг друга: один диагностирует поиск отрывков, другой объясняет покрытие отдельных требований вопроса. Такое различие особенно заметно, когда соседние фрагменты почти дословно повторяют одно доказательство, не добавляя нового источника.
| Наблюдение | Обнаруживаемая ошибка |
|---|---|
| Покрытие границы | Уточнение оказалось отдельно от определения |
| Уникальные источники | Повторы вытеснили другой документ |
| Бюджет текста | Преимущество получено дополнительным объёмом |
Сохранить бюджет сравнения
Фиксированный лимит hit не даёт равного объёма доказательств при другой длине фрагментов. Запишите число результатов и реально передаваемый дальше текст. Более длинный объединённый отрывок сам по себе не доказывает лучшую стратегию. Исследуйте повторы в конечном сериализованном контексте: удаление дублей может происходить уже после поиска и менять материал модели ответа. Сравнение только исходной выдачи тогда не описывает весь фактический путь доказательств.
Осторожно трактовать метрики
Справочник Ragas отделяет оценки контекста от faithfulness ответа. Релевантный повтор всё ещё способен быть избыточным для вопроса, а верный источнику ответ может пропустить ненайденное доказательство. Храните source-level разметку рядом с автоматическими баллами. Не предполагайте, что одна метрика контекста автоматически штрафует любой вид дублирования либо подтверждает полноту ответа, которому нужны несколько документов. Для этих выводов потребуются разные явно сформулированные проверки.
Сохранить решение о перекрытии
Для каждой политики оставьте единицы splitter, разделители, настоящие диапазоны, source ID и те же отложенные вопросы. Нужны пример разрыва связи и пример большого числа повторов. Полезное решение показывает сохранённые отношения и вытесненные доказательства при выбранном бюджете. Оно не предписывает один процент каждому корпусу и не объявляет увеличенный индекс доказательством лучшего поиска без рассмотрения полученной выдачи.
Связанные материалы: Эмбеддинги текста на своём GPU: как организовать пакетную индексацию; Локальный RAG-сервер: какие компоненты размещать рядом с GPU.