# Late chunking для RAG: контекст до объединения токенов во фрагменты

Late chunking кодирует более широкий контекст документа до объединения диапазонов токенов в эмбеддинги фрагментов.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/rag-late-chunking-contextual-embeddings/
Language: ru

Late chunking кодирует более широкий контекст документа до объединения диапазонов токенов в эмбеддинги фрагментов. Это отличается от независимого кодирования перекрывающихся отрывков и требует совместимого кодировщика с явным учётом диапазонов, а не простого переноса splitter ниже в коде приложения.

## Найти этап контекстуализации

[Авторское объяснение late chunking](https://jina.ai/news/late-chunking-in-long-context-embedding-models/) описывает токеновые представления, сформированные с длинным контекстом перед pooling фрагмента. Раннее разбиение удаляет окружение до обработки отдельных отрывков кодировщиком. Отличие касается информации, влияющей на токены, а не гарантии лучшего поиска от любой длинной строки. При сравнении сохраняйте настоящее текстовое окно модели, чтобы обнаружить случаи, когда предполагаемый полезный контекст в действительности не был передан на вход.

## Воспроизводимо задать pooling

[Эталонная реализация](https://github.com/jina-ai/late-chunking) предоставляет конкретный метод исследования. Запишите границы фрагментов и их соответствие закодированным токенам. Символьные смещения, offsets токенизатора и позиции токенов связаны, но не взаимозаменяемы. Очистка пробелов либо добавленный заголовок способны нарушить вычисленное соответствие. Проверка должна сохранять исходный документ и сериализованный текст кодирования, чтобы после обработки можно было восстановить тот же диапазон, а не только получить вектор подходящей размерности.

## Проверить перекрёстную ссылку

Создайте учебный текст, который вводит название устройства Atlas, а в последующем абзаце ссылается на него косвенно. Подготовьте вопрос, требующий этой связи. Сравните отдельно закодированные фрагменты с результатом late pooling по тому же окну документа. Кодирование запроса и настройки поиска оставьте прежними. Успех такого примера подтверждает конкретную связь, а не универсальное улучшение для любого длинного документа, языка или модели с похожим описанием возможностей.

| Граница | Сохраняемая информация |
|---|---|
| Окно кодировщика | Контекст, реально доступный модели |
| Диапазон фрагмента | Токены, включённые в pooling |
| Результат поиска | Исходный отрывок, связанный с вектором |

## Отличить лимит модели от длины документа

[Оригинальная статья](https://arxiv.org/abs/2409.04701) исследует контекстные эмбеддинги с long-context embedding-моделями. Более длинному документу всё равно требуется явная политика окон. Late chunking не предоставляет неограниченного контекста и не восстанавливает исключённый текст. Перекрытие окон кодировщика записывайте отдельно от границ конечных фрагментов. Это разные уровни, способные по-разному дублировать возвращаемые доказательства; их нельзя объединять одним неясным параметром overlap без указания того, какую часть обработки он изменяет.

## Сравнить весь путь доказательств

Сохраните набор с местоимениями, определениями и независимыми фактическими утверждениями. Первые случаи могут нуждаться в окружении, последние контролируют ненужное изменение самодостаточного доказательства. Исследуйте покрытие источников и отдельные ошибки. Другое количество фрагментов способно изменить объём возвращаемого текста, поэтому сохраняйте видимым бюджет доказательств, а не сравнивайте только один лимит hit. Иначе преимущество дополнительного материала легко перепутать с эффектом другого способа кодирования.

## Не смешивать разные техники

Late chunking меняет кодирование документа и pooling. Это не токеновый late-interaction reranking и не повторное использование кеша генерации. Сохраняйте различия в архитектурной схеме и метаданных индекса. Полезный результат указывает проверенные кодировщик, окно и диапазоны вместе с местами отсутствующего контекста. Он не объявляет любое обогащённое представление подтверждённой реализацией late chunking лишь по наличию дополнительных заголовков или длинного исходного файла.

Связанные материалы: [Эмбеддинги текста на своём GPU: как организовать пакетную индексацию](/ru/journal/text-embeddings-batch/); [Эмбеддинги для русского языка: как проверить поиск на своих документах](/ru/journal/embeddings-russian-retrieval/).