# Карты сходства ColPali: внимание к патчам не равно OCR-цитате

Карты сходства ColPali показывают вклад патчей изображения в совпадение с токенами запроса, но не подтверждают OCR-цитату или точную область цитирования.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/colpali-similarity-maps-source-grounding/
Language: ru

Карты сходства ColPali показывают вклад патчей изображения в совпадение с токенами запроса, но не подтверждают OCR-цитату или точную область цитирования. Их используют для разбора поиска страниц, сохраняя отдельно происхождение документа, извлечённую формулировку и подтверждение с координатами в исходном материале.

## Понять смысл карты

В [статье ColPali](https://arxiv.org/abs/2407.01449) описан визуальный поиск документов через позднее взаимодействие представлений запроса и страницы. В [авторском репозитории](https://github.com/illuin-tech/colpali) есть инструменты просмотра карт сходства. Яркая область обозначает вклад модельного сходства в конкретном представлении. Она не доказывает правильное чтение каждого символа внутри области и не подтверждает, что соседний текст обосновывает предлагаемый ответ пользователя на конкретный вопрос.

## Сохранить страницу за визуализацией

[Карточка checkpoint ColPali](https://huggingface.co/vidore/colpali-v1.3) определяет конкретную модель поиска изображений страниц. Вместе с визуализацией сохраняют её ревизию, исходный идентификатор страницы и настройки рендеринга. Масштабирование меняет видимые координаты, а снимка тепловой карты недостаточно для восстановления оригинала. Обычное изображение страницы тоже необходимо: проверяющий должен видеть обозначения без наложения, которое способно скрыть подпись или тонкую линию схемы.

## Выбрать неоднозначную схему

Представим страницу подключения с чертежом разъёма, предупреждением и повторяющимся заголовком продукта. Вопрос: какой разъём передаёт сигнал датчика? Полезный разбор отделяет вклад слова о разъёме от общей лексики продукта. Предупреждение может давать сильное сходство, не содержа ответа о подключении. Это задача интерпретации результата, а не доказательство внутреннего рассуждения модели или её точного понимания схемы.

| Артефакт | Что он подтверждает |
| --- | --- |
| Идентификатор найденной страницы | Местоположение поискового кандидата |
| Карта по токенам запроса | Вклады представлений в сходство |
| OCR-текст с координатами | Извлекаемую формулировку и геометрию |
| Проверенная человеком цитата | Поддержку определённого утверждения ответа |

## Связать карту с проверкой цитаты

После выбора страницы восстанавливают нужную формулировку либо непосредственно читают схему. Для текстовой области цитирования координаты получают из процесса извлечения, который сохраняет геометрию, и отдельно проверяют содержание. Нельзя автоматически превращать самый яркий патч в цитату. Один патч способен захватывать несколько слов, графический символ или пустое пространство рядом со значимой деталью и не имеет самостоятельного текстового значения.

## Разобрать расхождение артефактов

Если верная страница ранжируется высоко, но подсвечена неверная область, рассматривают вклады отдельных токенов запроса. Если правдоподобная подсветка сопровождается ошибочным OCR, изображение сохраняют как первичное подтверждение, а транскрипцию помечают для исправления. Если внимание сосредоточено на повторяющемся заголовке посторонних страниц, проверяют влияние макета и формулировки запроса вместо содержания, которое действительно позволяет ответить на поставленный вопрос.

## Описать реальную силу подтверждения

Запись разбора содержит вопрос, страницу, карту, восстановленное подтверждение и вывод о нерешённых сомнениях. Карты помогают находить поисковые упрощения и направлять ручную проверку. Они остаются объясняющими артефактами, а не автоматическим основанием утверждений, координат или откалиброванной уверенности. Такое разделение сохраняет пользу визуального поиска, не приписывая его выходу более сильного доказательного значения, чем тот действительно предоставляет.

Связанные материалы: [GPU-конвейер OCR для PDF: как оценить сервер на 1000 страниц](/ru/journal/pdf-ocr-gpu-pipeline/); [Embeddings и rerankers: другие задачи для свободного GPU](/ru/journal/embeddings-rerankers-gpu/).