# Стратегии chunking для RAG: структура документа и фиксированные окна

Стратегия chunking для RAG определяет совместно извлекаемые доказательства, а не только число токенов одного embedding-вызова.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/rag-chunking-structure-token-boundaries/
Language: ru

Стратегия chunking для RAG определяет совместно извлекаемые доказательства, а не только число токенов одного embedding-вызова. Сравнивайте структурные границы и фиксированные окна на одинаковых вопросах, прежде чем выбирать размер либо перекрытие по умолчанию.

## Начать со связей документа

Фиксированное окно способно отделить определение от следующего сразу исключения. Структурное разбиение может сохранить раздел, но получить слишком крупную единицу. [Концепции chunking Docling](https://docling-project.github.io/docling/concepts/chunking/) различают иерархические единицы и уточнение по токенизатору. Ни один дизайн автоматически не доказывает смысловую полноту. Сохраните исходную структуру, чтобы неуспех поиска можно было связать с конкретной границей доказательства, которое действительно попало в кодировщик, а не только с размером файла.

## Считать настоящий вход эмбеддинга

[Пример hybrid chunking](https://docling-project.github.io/docling/_generated/examples/hybrid_chunking/) подчёркивает использование токенизатора embedding-модели. Длина исходного текста не задаёт надёжный бюджет, особенно после добавления заголовков и метаданных. Исследуйте конечную сериализованную строку, отправляемую кодировщику. Фрагмент, помещающийся до contextualization, способен превысить лимит после неё. Молчаливое усечение тогда удалит доказательство, хотя процесс всё ещё сообщит об успешно созданном векторе и не покажет видимой ошибки при загрузке результатов в индекс.

## Сохранить иерархию и источник

[Представление документа Docling](https://docling-project.github.io/docling/concepts/docling_document/) содержит разделы, группы и происхождение. Используйте связи при назначении идентификаторов и заголовков фрагментов. Не превращайте каждый заголовок в несвязанный повтор текста и не смешивайте оформление страницы с телом раздела. Результат должен указывать извлекаемую единицу и исходный документ. Это позволяет восстановить использованное доказательство, а не только показать отдельную строку без понятной связи с оригиналом и его версией.

## Проверить чувствительные границы

Используйте учебное руководство с коротким определением, последующим уточнением, таблицей и переходом между разделами. Подготовьте вопросы к каждой связи. Создайте структурный и оконный варианты из того же источника при неизменных модели эмбеддингов и настройках поиска. Оценивайте достаточность найденного текста для доказательства, а не простое присутствие слов запроса. Каждый пропуск должен оставаться связанным с конкретным исходным участком и способом его разбиения.

| Свойство стратегии | Проверяемая ошибка |
|---|---|
| Фиксированное окно | Разорвана подтверждающая связь |
| Структурная единица | Превышен действующий бюджет кодировщика |
| Обогащение метаданными | Добавленный контекст изменил длину либо смысл |

## Сравнить равные бюджеты доказательств

Изменение размера меняет число индексированных единиц и объём текста при фиксированном лимите hit. Явно сравнивайте покрытие источников и конечный бюджет доказательств, а не только одинаковое число результатов. Длинные отрывки могут выглядеть лучше лишь потому, что передают больше исходного текста. Сохраняйте дубли и недостаток контекста раздельно, чтобы опыт объяснял компромисс, а не превращал дополнительный объём в необоснованное преимущество одного метода.

## Выбрать правила с исключениями

Опишите обработку заголовков, таблиц, очень длинных разделов и коротких фрагментов. Сохраните ревизию источника и небольшой набор граничных случаев с ожидаемыми доказательствами. Практическая политика может по-разному обрабатывать разные структурные единицы. Её смысл — сохранять пригодный материал в известном входном бюджете, а не объявлять одно число токенов оптимальным для каждого документа, языка и семейства embedding-моделей.

Связанные материалы: [Локальный RAG-сервер: какие компоненты размещать рядом с GPU](/ru/journal/rag-server-local-architecture/); [Эмбеддинги текста на своём GPU: как организовать пакетную индексацию](/ru/journal/text-embeddings-batch/).