# vLLM quantization: как согласовать веса, формат и GPU

Как запускать квантованную модель в vLLM: совместимость checkpoint, метода квантования, GPU и версии движка без случайного выбора флага.

Автор: Команда Retrivium
Обновлено: 2026-11-01
Канонический URL: https://retrivium.ai/ru/journal/vllm-quantization-launch/
Language: ru

Для запуска квантованной модели в vLLM нужно согласовать подготовленный checkpoint, метод квантования, архитектуру GPU и поддержку движка. Одного аргумента `--quantization` недостаточно для произвольного набора весов. Начинайте с карточки конкретного артефакта и официальной таблицы совместимости, затем проверяйте память и качество на своей задаче.

## Определите, что именно скачано

Название модели может совпадать у исходных и нескольких квантованных вариантов. Запишите точный репозиторий, revision, формат файлов и заявленный метод. Уменьшенный размер архива ещё не объясняет, как эти данные будут исполняться на выбранной карте.

Откройте конфигурацию checkpoint и инструкцию автора. Некоторые форматы определяются автоматически; другим нужна явная настройка и дополнительные компоненты. Важно избежать ситуации, когда пользователь считает запуск четырёхбитным, а движок фактически использует другой путь или завершается при загрузке неподдерживаемых весов.

## Сопоставьте формат и аппаратную поддержку

[Официальное руководство vLLM по квантованию](https://docs.vllm.ai/en/stable/features/quantization/) перечисляет поддерживаемые методы и аппаратные ограничения. Один формат может быть удобен на определённом поколении GPU и неудобен на другом. Возможность прочитать веса и наличие оптимизированного вычислительного пути тоже следует различать.

Синтаксис `vllm serve CHECKPOINT --quantization METHOD` показывает расположение аргумента, но не является готовой командой: оба значения требуют замены по документации выбранного артефакта. Доступные значения и их поведение проверяйте в [справочнике serve](https://docs.vllm.ai/en/stable/cli/serve/) установленной версии.

## Проверьте фактический расход памяти

Теоретическая оценка четырёх бит на параметр относится к основной части весов. В реальном размещении остаются масштабы, метаданные, тензоры другой точности, рабочие буферы и KV-кеш. Поэтому размер модели нельзя делить ровно на четыре и считать полученное число требованием сервера.

Например, для условных четырнадцати миллиардов параметров нижняя оценка при четырёх битах составляет семь миллиардов байт. Это расчётная отправная точка, а не гарантия запуска на карте близкой ёмкости. Дальше измерьте загрузку, первый запрос и типичный параллельный режим. Разница весов и кеша разобрана в [памяти 14B](/ru/journal/llm-14b-16gb-memory/).

## Сравните результат на содержательных задачах

Выберите небольшую проверочную выборку, где важны реальные свойства модели: правильность кода, соблюдение схемы ответа, работа с числами или понимание языка. Сравните исходный и квантованный варианты при одинаковых настройках генерации. Запишите ошибки по отдельным примерам, а не только субъективную оценку текста.

Проверьте также длинный контекст. Экономия памяти весов не гарантирует одинакового поведения на всех входах. Для владельца карты важно знать, какой формат даёт приемлемый результат в доступном ресурсе; для финансового партнёра — какой компромисс качества сопровождает отказ от более ёмкого оборудования.

При передаче результатов укажите происхождение квантованного артефакта и способ его получения. Два файла с похожим названием могут использовать разные настройки подготовки и не давать сопоставимого результата.

## Зафиксируйте проверенную комбинацию

Паспорт квантованного запуска включает checkpoint, метод, GPU, версию vLLM, настройки контекста и результаты проверки качества. Общая схема сравнения описана в [материале о качестве квантования](/ru/journal/quantization-quality/). После обновления движка повторите контрольные примеры: поддержка и выбор вычислительных ядер могут меняться.

Если пока известна только модель карты, можно начать с ограниченного исследования подходящих форматов. Обсуждение должно связывать ёмкость и полезное качество, а не обещать одинаковую работу всех «четырёхбитных моделей».