В этом материале
В llama.cpp language GGUF и mmproj должны образовывать поддерживаемую мультимодальную пару.
В llama.cpp language GGUF и mmproj должны образовывать поддерживаемую мультимодальную пару. Projector от похожей модели нельзя считать взаимозаменяемым только по размеру файла или названию семейства. Сохраните происхождение обоих артефактов и проверьте известное изображение с конкретным вопросом. Отдельно учитывайте encoder offload: размещение projector и размещение языковых слоев — разные настройки и могут по-разному влиять на память и время обработки входа.
Определите роль projector
Руководство multimodal описывает запуск с model и mmproj, а также управление offload. Projector соединяет представление изображения с языковой частью, поэтому его совместимость относится к архитектуре и преобразованию данных, а не только к наличию свободной VRAM. Перед запуском сохраните model card, revision и соответствие опубликованной пары. Не подбирайте файл случайной заменой после ошибки: отсутствие немедленного crash не доказывает, что модель корректно интерпретировала визуальное содержимое и получила ожидаемую структуру входа.
Уточните используемый multimodal путь
README libmtmd объясняет развитие инструментов и объединение мультимодальной поддержки. Старые model-specific примеры могут относиться к другому бинарнику или этапу развития проекта. Сверяйте команды и названия компонентов с выбранной сборкой. Укажите, какой endpoint и какие типы входа поддерживаются проверяемым путем. Успешный текстовый запрос к language model не покрывает обработку изображения: он может полностью обходить projector, поэтому его недостаточно для приемки согласованной пары артефактов.
Пример известного изображения
Создайте простую тестовую картинку с двумя явно различимыми фигурами и задайте вопрос об их расположении. Сохраните сам файл, вопрос и допустимый структурный результат, не используя случайное удаленное изображение. Это диагностический fixture, а не benchmark качества зрения. Выполните запрос с проверенной парой и подтвердите, что сервер действительно обработал изображение. Если ответ повторяет только текст prompt, исследуйте загрузку media и encoder stage прежде, чем менять sampling или объявлять projector несовместимым без дополнительных свидетельств.
Проверьте независимый offload
Запишите размещение language model и projector отдельно. Если используется предусмотренное отключение projector offload, сравните функциональное поведение и профиль, сохранив остальные настройки. Изменение GPU memory usage не обязательно означает изменение количества языковых слоев. Для повторной проверки используйте то же изображение и одинаковую preprocessing конфигурацию. Не обещайте, что перенос encoder на CPU всегда освободит достаточно памяти или ускорит работу: он меняет место исполнения и стоимость передачи, которые зависят от модели, входа и конкретного оборудования.
Приемочный комплект
Сохраните language GGUF, projector, revisions, сборку, карту размещения и тестовый media файл. Укажите проверенные размеры входа и ограничения выбранного runtime. При обновлении любого из двух артефактов повторите visual fixture, а не только text-only health запрос. Если официального соответствия пары нет, обозначьте непроверенное сочетание вместо универсального заявления о поддержке. Полезный результат показывает, где проходят границы encoder и language model, и позволяет повторить целую цепочку от media input до ответа. Он не делает вывод о качестве всех VLM по одной картинке и не приравнивает успешную загрузку tensors к доказательству правильной визуальной интерпретации при любой модели, projector или версии мультимодального backend.
Связанные материалы
GPU-хостинг для мультимодальных моделей: считайте не только текст; Qwen3-VL: как проверить VRAM на изображениях разной сложности.