vLLM gpu-memory-utilization: что ограничивает эта настройка

Параметр vLLM --gpu-memory-utilization относится к бюджету памяти движка. Он не задаёт процент вычислительной загрузки GPU и не гарантирует соседним приложениям изоляцию. Увеличение значения может дать больше места для кеша, но сокращает запас устройства. Изменяйте его после проверки исходной свободной VRAM и характера ошибки.

Разделите память и вычислительную загрузку

В мониторинге GPU можно видеть высокий расход памяти при низкой активности вычислительных блоков. Движок способен заранее подготовить рабочие пулы, оставаясь без запросов. Это не доказывает полную занятость карты полезной генерацией и не является измерением спроса на её ресурсы.

Справочник vLLM serve определяет параметр на уровне экземпляра. Если на устройстве уже есть другой процесс, новое значение не отключит его и не создаст физически дополнительную память. Состояние карты перед запуском должно быть частью эксперимента.

Оставьте запас для выбранного режима

Учебный пример для совместимой среды:

vllm serve Qwen/Qwen3-0.6B \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.80

Число 0.80 здесь выбрано для демонстрации синтаксиса. Оно не является рекомендацией для всех карт. После успешного старта проверьте типичные запросы, более длинный вход и параллельность. При сравнении меняйте только бюджет памяти, сохраняя модель и остальные условия.

Если уменьшение бюджета приводит к отказу разместить нужный контекст, это ожидаемая развилка: доступный кеш становится меньше. Если увеличение вызывает OOM при прогреве, исследуйте пик загрузки и соседние процессы, вместо дальнейшего приближения значения к единице.

Не путайте несколько экземпляров с изоляцией

Два сервера на одной карте видят одно физическое устройство. Настройка бюджета каждого не превращает его в независимый GPU. Фоновые приложения, изменение контекста и дополнительные рабочие буферы способны изменить суммарную картину. Проверяйте оба процесса одновременно, а не по очереди.

Для разделения задач иногда подходят отдельные устройства или аппаратные механизмы поддерживаемого ускорителя. Их свойства отличаются от простого процентного бюджета движка. Разница разобрана в материале MIG и time-slicing. Выбор зависит от требований к размещению и совместимости конкретной модели.

Свяжите настройку с наблюдаемой проблемой

Недостаточный KV-кеш, CUDA OOM на первом запуске и медленный ответ — разные симптомы. Официальная оптимизация vLLM помогает связать их с соответствующими ограничениями. Увеличение памяти кеша не исправит медленный диск или неверный адрес API.

В таблицу сравнения включите выбранное значение, память до старта, размер доступного кеша из журнала, фактическую длину запросов и ошибки. Учитывайте также вытеснения: сервер может оставаться живым, но выполнять повторную работу. Такой результат нельзя описать одним словом «помещается».

Перед каждым сравнением записывайте исходную свободную память. Без этого одинаковый аргумент способен дать разные результаты, если между опытами изменилось состояние соседнего приложения на том же GPU.

Опишите ресурс владельца предметно

В заявке укажите, выделена ли карта полностью или на ней продолжают работать другие приложения. Для рабочей станции полезен отдельный тест в доступное временное окно. Совместное использование следует обсуждать на измеренных условиях, как в пилотном чек-листе.

Для финансового партнёра данные показывают, нужен ли более ёмкий GPU, отдельная машина или корректировка профиля. На их основе можно обсуждать доступную мощность, не принимая процент настройки за гарантированную производительность.