В этом материале
Яркая область карты сходства показывает вклад в оценку модели, а не проверенную цитату или достоверную рамку OCR.
Карты сходства ColPali показывают вклад патчей изображения в совпадение с токенами запроса, но не подтверждают OCR-цитату или точную область цитирования. Их используют для разбора поиска страниц, сохраняя отдельно происхождение документа, извлечённую формулировку и подтверждение с координатами в исходном материале.
Понять смысл карты
В статье ColPali описан визуальный поиск документов через позднее взаимодействие представлений запроса и страницы. В авторском репозитории есть инструменты просмотра карт сходства. Яркая область обозначает вклад модельного сходства в конкретном представлении. Она не доказывает правильное чтение каждого символа внутри области и не подтверждает, что соседний текст обосновывает предлагаемый ответ пользователя на конкретный вопрос.
Сохранить страницу за визуализацией
Карточка checkpoint ColPali определяет конкретную модель поиска изображений страниц. Вместе с визуализацией сохраняют её ревизию, исходный идентификатор страницы и настройки рендеринга. Масштабирование меняет видимые координаты, а снимка тепловой карты недостаточно для восстановления оригинала. Обычное изображение страницы тоже необходимо: проверяющий должен видеть обозначения без наложения, которое способно скрыть подпись или тонкую линию схемы.
Выбрать неоднозначную схему
Представим страницу подключения с чертежом разъёма, предупреждением и повторяющимся заголовком продукта. Вопрос: какой разъём передаёт сигнал датчика? Полезный разбор отделяет вклад слова о разъёме от общей лексики продукта. Предупреждение может давать сильное сходство, не содержа ответа о подключении. Это задача интерпретации результата, а не доказательство внутреннего рассуждения модели или её точного понимания схемы.
| Артефакт | Что он подтверждает |
|---|---|
| Идентификатор найденной страницы | Местоположение поискового кандидата |
| Карта по токенам запроса | Вклады представлений в сходство |
| OCR-текст с координатами | Извлекаемую формулировку и геометрию |
| Проверенная человеком цитата | Поддержку определённого утверждения ответа |
Связать карту с проверкой цитаты
После выбора страницы восстанавливают нужную формулировку либо непосредственно читают схему. Для текстовой области цитирования координаты получают из процесса извлечения, который сохраняет геометрию, и отдельно проверяют содержание. Нельзя автоматически превращать самый яркий патч в цитату. Один патч способен захватывать несколько слов, графический символ или пустое пространство рядом со значимой деталью и не имеет самостоятельного текстового значения.
Разобрать расхождение артефактов
Если верная страница ранжируется высоко, но подсвечена неверная область, рассматривают вклады отдельных токенов запроса. Если правдоподобная подсветка сопровождается ошибочным OCR, изображение сохраняют как первичное подтверждение, а транскрипцию помечают для исправления. Если внимание сосредоточено на повторяющемся заголовке посторонних страниц, проверяют влияние макета и формулировки запроса вместо содержания, которое действительно позволяет ответить на поставленный вопрос.
Описать реальную силу подтверждения
Запись разбора содержит вопрос, страницу, карту, восстановленное подтверждение и вывод о нерешённых сомнениях. Карты помогают находить поисковые упрощения и направлять ручную проверку. Они остаются объясняющими артефактами, а не автоматическим основанием утверждений, координат или откалиброванной уверенности. Такое разделение сохраняет пользу визуального поиска, не приписывая его выходу более сильного доказательного значения, чем тот действительно предоставляет.
Связанные материалы: GPU-конвейер OCR для PDF: как оценить сервер на 1000 страниц; Embeddings и rerankers: другие задачи для свободного GPU.