В этом материале
Unquantized QAT Gemma содержит исходные веса половинной точности, тогда как соответствующий GGUF является артефактом запуска.
Название unquantized QAT может выглядеть противоречиво. У Gemma 4 оно обозначает веса половинной точности из процесса quantization-aware training, а не готовый четырёхбитный файл только из-за присутствия Q4_0 в имени репозитория.
Прочитайте официальное описание артефакта
Карточка QAT разделяет unquantized QAT и артефакты GGUF. Первые описаны как веса половинной точности для последующей компиляции и исследования; варианты GGUF Q4_0 подготовлены для запуска в соответствующей экосистеме.
Обычная карточка модели определяет родительскую модель инструкций. Обзор семейства предоставляет архитектурный контекст. Артефакт после QAT и исходный checkpoint нельзя считать идентичными только потому, что оба представлены широким dtype.
Разделите способ обучения и формат хранения
QAT меняет обучение либо адаптацию, чтобы модель переносила предполагаемые условия квантованного исполнения. GGUF является форматом артефакта совместимых сред. Это разные направления описания выбранной модели.
Файл unquantized QAT может содержать значения после QAT-процесса, ещё не сериализованные окончательным низкобитным GGUF. Одно имя файла не подтверждает загружаемого представления тензоров или возможности использовать его конкретной средой исполнения.
Выберите артефакт для реальной операции
| Требуемая операция | Вопрос к артефакту |
|---|---|
| Прямой инференс совместимого GGUF | Опубликован ли готовый GGUF? |
| Последующая компиляция | Подходит ли исходник unquantized QAT? |
| Сравнение с родителем | Определён ли исходный checkpoint отдельно? |
| Собственная конверсия | Какие инструмент и настройки создали результат? |
| Воспроизводимая оценка | Сохранены ли все ревизии и форматы? |
Доступность различается между размерами и типами артефактов. Из описания семейства нельзя выводить существование каждого перечисленного формата для любого выбранного размера модели.
Проверьте поведение выбранного пути
Возьмите ограниченный набор текстовых инструкций и кодовых примеров с независимыми эталонами. Проверяйте сохранение фактов, допустимые окончательные ответы и защищённое поведение кода. Разные формулировки могут оставаться правильными; похожие ответы способны скрывать регрессию.
Ошибку компиляции либо конверсии учитывайте отдельно от качества задач. При успешной загрузке с повреждённым выводом изучите tokenizer и шаблон до объяснения причиной QAT. Идентичность артефакта, подготовка входа и правильность ответа являются разными проверками.
Сохраните происхождение артефакта
Храните родительский репозиторий, ревизию выбранного QAT либо GGUF, путь преобразования или компиляции и среду вместе с оценкой. Укажите прямое использование артефакта либо выполненное локальное преобразование весов.
Результат обосновывает формат для проверенной нагрузки. Он не устанавливает отсутствия потерь, одинакового расхода памяти широких и низкобитных артефактов либо автоматической совместимости с любым движком, узнающим семейство. Чтение официального назначения не позволяет привлекательному имени репозитория подменить реальный формат исполнения. Сохраняйте эту границу и при дальнейшем выборе другой версии модели.