В этом материале
Структурированный экспорт сохраняет происхождение цитат только тогда, когда индексированные фрагменты по-прежнему связаны с правильной редакцией источника и объектами документа.
Markdown и структурированный JSON решают разные задачи конвейера документов RAG: читаемый текст удобен поиску, а структурированное происхождение позволяет восстановить подтверждение. Сохранение обоих форматов избавляет уплощённый экспорт от невозможного требования удержать все связи таблиц, координаты страниц и иерархию исходного документа после преобразования.
Определить восстанавливаемые отношения
Модель DoclingDocument представляет иерархию и происхождение шире обычного текста. Сначала определяют нужные связи: принадлежность разделу, ячейки таблицы, страницу или ссылки на рисунок. Читаемый Markdown способен сохранить часть отношений, но не гарантирует полное структурированное представление. Экспорт рассматривают как вид преобразованного документа, а не единственный оставшийся источник. Такое разделение особенно важно при исправлении извлечения, когда требуется заново создать поисковые фрагменты без потери исходных координат и связей.
Сопоставить задачи сериализации
Официальная документация сериализации описывает варианты экспорта содержания. Markdown удобен кодировщику, JSON способен сохранять поля для цитирования и повторной обработки. Ни один формат не доказывает правильность извлечения. Если преобразователь ошибочно связал подпись с другим рисунком, точная сериализация лишь сохранит ту же ошибку в более доступном виде. Поэтому проверка отношений предшествует выбору формата, а не считается автоматически выполненной благодаря наличию структурированных полей и корректно читаемого файла на диске.
Собрать комплект подтверждения
Возьмём отчёт с заголовком, таблицей и подписью рисунка. Сохраним оригинал, структурированное преобразование и реально индексируемый текст. Каждый поисковый фрагмент получает устойчивую ссылку на объект структуры и редакцию источника. Затем зададим вопрос, требующий строку таблицы вместе с подписью. Комплект должен восстановить оба подтверждения без ручного воспоминания имени файла. Проверка связывает практический пользовательский вопрос с конкретным путём восстановления, а не только проверяет существование экспортированных файлов в каталоге.
| Артефакт | Основная задача |
|---|---|
| Исходный документ | Авторитетное представление источника |
| Структурированный JSON | Восстановление иерархии и происхождения |
| Представление Markdown | Читаемый текст индексации и проверки |
| Поисковый фрагмент | Точный текст, переданный поиску |
Сделать преобразования явными
Реализация Docling предоставляет преобразование и экспорт. Между этапами записывают удаление служебных элементов, добавление заголовков, представление таблиц и построение фрагментов. Индексируемый абзац способен отличаться от источника из-за намеренно добавленного контекста. Это различие сохраняют, чтобы цитата не выдавала обогащённый отрывок за буквальный текст страницы. Повторная обработка следует сохранённому контракту, а не пытается угадать прежний способ построения индекса по его текущему содержимому или общему названию использованной библиотеки.
Проверить восстановление, а не наличие файлов
Выбранные результаты поиска разрешают обратно в редакцию документа, структурный элемент и исходную страницу. Проверяют поддержку ответа с единицами и ограничениями. JSON рядом с Markdown недостаточен, если идентификаторы больше их не связывают. Артефакт приёмки — прослеживаемый путь от вопроса через индексируемый текст к месту источника. Он помогает исправлению и повторной индексации, не объявляя какой-либо формат автоматически полным либо безошибочным. При разрыве цепочки фиксируют именно потерю связи, а не подменяют её удобной ссылкой на весь документ.
Связанные материалы: Локальный RAG-сервер: какие компоненты размещать рядом с GPU; GPU-конвейер OCR для PDF: как оценить сервер на 1000 страниц.