В этом материале
Выбор GGUF начинается с идентичности модели и поддерживаемой архитектуры; размер файла — только один из критериев.
Для llama.cpp выбирайте конкретный GGUF-файл, а не только знакомое имя модели. Нужно установить исходный checkpoint, разновидность квантования, поддержку архитектуры, комплект файлов и ожидаемую память выполнения. Маленький файл не обязательно даёт нужное качество, а наличие расширения GGUF не гарантирует совместимость с любой сборкой движка.
Установите происхождение артефакта
Запишите автора конвертации, исходную модель и revision. Проверьте лицензию и описание подготовки. У репозитория могут быть варианты одной модели разной точности или наборы из нескольких частей. Для воспроизводимости сохраните точное имя и контрольную сумму скачанного файла, если она доступна.
Спецификация GGUF проекта ggml описывает контейнер и метаданные. Формат позволяет хранить информацию о тензорах и модели, но не превращает неизвестную архитектуру в поддерживаемую. Возможности исполнения нужно сверять с конкретной версией llama.cpp.
Различайте обозначение квантования и качество
Разновидности квантования используют разные схемы хранения; буквенно-числовая метка не является универсальным рейтингом качества. Некоторые тензоры могут иметь иную точность, поэтому средний размер на параметр отличается от простого округлённого значения. Сравнивайте артефакты одной исходной модели на своих задачах.
Практический пример: подготовьте десять коротких заданий на код, числа и формат ответа. Запустите два доступных варианта GGUF с одинаковым шаблоном и настройками. Запишите конкретные ошибки и память, а не только субъективную «плавность» текста. Методика оценки рассмотрена в статье о квантовании.
Оставьте память для исполнения
Размер файла на диске не равен полному расходу RAM или VRAM. Движку нужны контекст, рабочие буферы и собственные структуры. Часть модели может размещаться на CPU, часть на GPU, если выбранная сборка и настройки это поддерживают.
Поэтому файл, немного меньший доступной видеопамяти, не следует заранее объявлять полностью помещающимся. Сначала ограничьте контекст разумной величиной, проверьте загрузку, затем типичный запрос. Увеличение контекста и параллельности исследуйте отдельно. Разница памяти объясняется в материале RAM и VRAM.
Проверьте шаблон и комплект модели
Для чата важен соответствующий шаблон сообщений и корректный токенизатор. В мультимодальном сценарии могут потребоваться дополнительные компоненты, предусмотренные конкретной архитектурой. Не считайте обычный текстовый GGUF достаточным для обработки изображения только из-за похожего имени семейства.
Параметры сервера описаны в официальной документации llama-server. Начните с штатного пути загрузки и короткого диалога. Если возникают странные служебные символы или неверное завершение, проверьте конфигурацию до смены GPU: причина может находиться в шаблоне, а не в мощности.
Для разделённого артефакта сохраните перечень всех требуемых частей и проверку их целостности. Неполный комплект нельзя диагностировать как недостаточную мощность карты или плохое качество самой модели.
Практические выводы
Владелец оборудования может приложить точный GGUF, версию сборки, backend, контекст и результат контрольных задач. Это даёт проверяемую связку, которую можно повторить на той же машине. Общая фраза «поддерживает локальные модели» такой информации не содержит.
Финансовому партнёру профиль помогает понять, требуется ли больше памяти для качества, контекста либо полного размещения на GPU. Так следующий эксперимент будет связан с полезной задачей и понятным ограничением текущего оборудования.