CPU, GPU И RAM

GPU с дисплеем: резерв VRAM до запуска модели

В этом материале
ГЛАВНОЕ ЗА МИНУТУ

До загрузки модели GPU может уже расходовать VRAM на дисплей, драйвер и другие процессы. Сравнивайте workstation и headless node по измеренному baseline, а не по номинальному объёму памяти. Display attached и display active отражают разные состояния и не взаимозаменяемы.

До загрузки модели GPU может уже расходовать VRAM на дисплей, драйвер и другие процессы. Сравнивайте workstation и headless node по измеренному baseline, а не по номинальному объёму памяти. Display attached и display active отражают разные состояния и не взаимозаменяемы.

Сохраните состояние до старта

Зафиксируйте UUID, GPU model, driver, OS, total/used/free memory и список доступных process observations. Сделайте несколько снимков после стабилизации среды. Desktop compositor, браузер и другие приложения способны менять расход без участия модели. Не закрывайте рабочие программы пользователя без разрешённого окна: для сравнения достаточно наблюдения или отдельного тестового профиля. Номинальная ёмкость из спецификации не равна гарантированному свободному объёму, который увидит новый compute process в конкретный момент запуска.

Официальный источник 1.

Различайте подключение и активность

Nvidia-smi описывает Display Attached как физическое подключение дисплея, а Display Active — инициализацию display state с соответствующим выделением ресурсов. Active может сохраняться без физически подключённого монитора. Поэтому отключение кабеля не доказывает освобождение всего display-related VRAM. Отдельно учитывайте поддержку и изменение полей между версиями инструментов. Если значение недоступно, сохраняйте N/A или статус запроса, а не заменяйте его на Disabled или ноль для удобства сравнения.

Официальный источник 2.

Измерьте прирост модели

В учебном отчёте сначала сохраняют baseline, затем запускают фиксированный workload и измеряют total process/system memory observations в той же области. Разность помогает описать изменение, но не всегда полностью принадлежит модели: параллельный desktop workload может измениться одновременно. Для точного сравнения используйте контролируемую среду и сохраняйте соседние процессы. Не вычисляйте «доступную VRAM» простым вычитанием одного неподтверждённого display reserve из рекламной ёмкости устройства.

СтадияНаблюдаемые данные
До моделиDisplay state и memory baseline
Во время загрузкиПик и текущий расход
Устойчивая работаИзменение по одинаковому workload
После выходаОстаток и состояние соседних клиентов

Сравните среды честно

Для workstation и headless узла сохраните различия OS, driver и управления памятью. NVML memory/process reporting имеет ограничения по продукту и режиму, поэтому нельзя обещать одинаковую полноту на всех платформах. Отсутствующая per-process memory не означает отсутствие расхода. Если задача не помещается только на desktop, исследуйте реальный baseline и остальные границы памяти отдельно. Успешный небольшой запрос не подтверждает запас для большего контекста или другого объёма одновременно выполняемой работы.

Проверьте повторяемость baseline

Повторите цикл после обычного старта среды и завершения модели. Сохраните диапазон наблюдаемого остатка, а не единственный удачный minimum. Артефакт должен показывать display flags, общий расход и полноту process visibility. Для постоянного размещения выбирайте проверенный эксплуатационный режим с известными соседними нагрузками. Такой протокол позволяет объяснить разницу между двумя одинаковыми GPU без вымышленных универсальных резервов и не обещает, что отключение дисплея автоматически сделает всю номинальную VRAM доступной inference-процессу.

Связанные разборы: studio workstations night; rtx for inference.

← Все материалы