Стратегии chunking для RAG: структура документа и фиксированные окна

Стратегия chunking для RAG определяет совместно извлекаемые доказательства, а не только число токенов одного embedding-вызова. Сравнивайте структурные границы и фиксированные окна на одинаковых вопросах, прежде чем выбирать размер либо перекрытие по умолчанию.

Начать со связей документа

Фиксированное окно способно отделить определение от следующего сразу исключения. Структурное разбиение может сохранить раздел, но получить слишком крупную единицу. Концепции chunking Docling различают иерархические единицы и уточнение по токенизатору. Ни один дизайн автоматически не доказывает смысловую полноту. Сохраните исходную структуру, чтобы неуспех поиска можно было связать с конкретной границей доказательства, которое действительно попало в кодировщик, а не только с размером файла.

Считать настоящий вход эмбеддинга

Пример hybrid chunking подчёркивает использование токенизатора embedding-модели. Длина исходного текста не задаёт надёжный бюджет, особенно после добавления заголовков и метаданных. Исследуйте конечную сериализованную строку, отправляемую кодировщику. Фрагмент, помещающийся до contextualization, способен превысить лимит после неё. Молчаливое усечение тогда удалит доказательство, хотя процесс всё ещё сообщит об успешно созданном векторе и не покажет видимой ошибки при загрузке результатов в индекс.

Сохранить иерархию и источник

Представление документа Docling содержит разделы, группы и происхождение. Используйте связи при назначении идентификаторов и заголовков фрагментов. Не превращайте каждый заголовок в несвязанный повтор текста и не смешивайте оформление страницы с телом раздела. Результат должен указывать извлекаемую единицу и исходный документ. Это позволяет восстановить использованное доказательство, а не только показать отдельную строку без понятной связи с оригиналом и его версией.

Проверить чувствительные границы

Используйте учебное руководство с коротким определением, последующим уточнением, таблицей и переходом между разделами. Подготовьте вопросы к каждой связи. Создайте структурный и оконный варианты из того же источника при неизменных модели эмбеддингов и настройках поиска. Оценивайте достаточность найденного текста для доказательства, а не простое присутствие слов запроса. Каждый пропуск должен оставаться связанным с конкретным исходным участком и способом его разбиения.

Свойство стратегии	Проверяемая ошибка
Фиксированное окно	Разорвана подтверждающая связь
Структурная единица	Превышен действующий бюджет кодировщика
Обогащение метаданными	Добавленный контекст изменил длину либо смысл

Сравнить равные бюджеты доказательств

Изменение размера меняет число индексированных единиц и объём текста при фиксированном лимите hit. Явно сравнивайте покрытие источников и конечный бюджет доказательств, а не только одинаковое число результатов. Длинные отрывки могут выглядеть лучше лишь потому, что передают больше исходного текста. Сохраняйте дубли и недостаток контекста раздельно, чтобы опыт объяснял компромисс, а не превращал дополнительный объём в необоснованное преимущество одного метода.

Выбрать правила с исключениями

Опишите обработку заголовков, таблиц, очень длинных разделов и коротких фрагментов. Сохраните ревизию источника и небольшой набор граничных случаев с ожидаемыми доказательствами. Практическая политика может по-разному обрабатывать разные структурные единицы. Её смысл — сохранять пригодный материал в известном входном бюджете, а не объявлять одно число токенов оптимальным для каждого документа, языка и семейства embedding-моделей.

Связанные материалы: Локальный RAG-сервер: какие компоненты размещать рядом с GPU; Эмбеддинги текста на своём GPU: как организовать пакетную индексацию.