В этом материале
Квантование — свойство подготовленных весов и поддерживаемого исполнения, а не произвольная надпись в команде.
Для запуска квантованной модели в vLLM нужно согласовать подготовленный checkpoint, метод квантования, архитектуру GPU и поддержку движка. Одного аргумента --quantization недостаточно для произвольного набора весов. Начинайте с карточки конкретного артефакта и официальной таблицы совместимости, затем проверяйте память и качество на своей задаче.
Определите, что именно скачано
Название модели может совпадать у исходных и нескольких квантованных вариантов. Запишите точный репозиторий, revision, формат файлов и заявленный метод. Уменьшенный размер архива ещё не объясняет, как эти данные будут исполняться на выбранной карте.
Откройте конфигурацию checkpoint и инструкцию автора. Некоторые форматы определяются автоматически; другим нужна явная настройка и дополнительные компоненты. Важно избежать ситуации, когда пользователь считает запуск четырёхбитным, а движок фактически использует другой путь или завершается при загрузке неподдерживаемых весов.
Сопоставьте формат и аппаратную поддержку
Официальное руководство vLLM по квантованию перечисляет поддерживаемые методы и аппаратные ограничения. Один формат может быть удобен на определённом поколении GPU и неудобен на другом. Возможность прочитать веса и наличие оптимизированного вычислительного пути тоже следует различать.
Синтаксис vllm serve CHECKPOINT --quantization METHOD показывает расположение аргумента, но не является готовой командой: оба значения требуют замены по документации выбранного артефакта. Доступные значения и их поведение проверяйте в справочнике serve установленной версии.
Проверьте фактический расход памяти
Теоретическая оценка четырёх бит на параметр относится к основной части весов. В реальном размещении остаются масштабы, метаданные, тензоры другой точности, рабочие буферы и KV-кеш. Поэтому размер модели нельзя делить ровно на четыре и считать полученное число требованием сервера.
Например, для условных четырнадцати миллиардов параметров нижняя оценка при четырёх битах составляет семь миллиардов байт. Это расчётная отправная точка, а не гарантия запуска на карте близкой ёмкости. Дальше измерьте загрузку, первый запрос и типичный параллельный режим. Разница весов и кеша разобрана в памяти 14B.
Сравните результат на содержательных задачах
Выберите небольшую проверочную выборку, где важны реальные свойства модели: правильность кода, соблюдение схемы ответа, работа с числами или понимание языка. Сравните исходный и квантованный варианты при одинаковых настройках генерации. Запишите ошибки по отдельным примерам, а не только субъективную оценку текста.
Проверьте также длинный контекст. Экономия памяти весов не гарантирует одинакового поведения на всех входах. Для владельца карты важно знать, какой формат даёт приемлемый результат в доступном ресурсе; для финансового партнёра — какой компромисс качества сопровождает отказ от более ёмкого оборудования.
При передаче результатов укажите происхождение квантованного артефакта и способ его получения. Два файла с похожим названием могут использовать разные настройки подготовки и не давать сопоставимого результата.
Зафиксируйте проверенную комбинацию
Паспорт квантованного запуска включает checkpoint, метод, GPU, версию vLLM, настройки контекста и результаты проверки качества. Общая схема сравнения описана в материале о качестве квантования. После обновления движка повторите контрольные примеры: поддержка и выбор вычислительных ядер могут меняться.
Если пока известна только модель карты, можно начать с ограниченного исследования подходящих форматов. Обсуждение должно связывать ёмкость и полезное качество, а не обещать одинаковую работу всех «четырёхбитных моделей».