В этом материале
Энергия на запрос зависит от границы измерения и состава работы. Сравнивайте одинаковые сценарии, различайте GPU и сервер целиком и сохраняйте отдельно ошибки, ожидание и полезный результат.
Владелец GPU хочет понимать расход электричества, а оператор — сколько полезной работы получает на этом расходе. Показатель энергии на запрос может помочь обсуждению, если ясно, что именно измерялось. Одно число без профиля нагрузки легко создаёт впечатление точности, которой в эксперименте нет.
Измерение нужно связывать с задачей. Короткий ответ, длинный документ и пакетная обработка используют ресурсы по-разному. Сравнивать их как одинаковые запросы обычно малоинформативно.
Укажите границу измерения
Различайте телеметрию GPU и потребление всего сервера. Вторая величина включает другие компоненты машины. Потребление площадки может дополнительно учитывать охлаждение и инфраструктуру, поэтому оно тоже не совпадает с показателем карты.
NVIDIA NVML предоставляет средства наблюдения за состоянием и поддерживаемыми показателями устройств. Их доступность зависит от оборудования и окружения. Если измерения на входе сервера нет, обозначьте фактически наблюдаемую границу, а не называйте показатель GPU общим расходом площадки.
Разделите мощность и энергию
Мощность описывает текущий темп потребления, энергия — расход за период. Для оценки по отсчётам мощности нужен известный интервал и понятный способ суммирования. Короткий максимальный отсчёт нельзя автоматически считать средним за весь тест.
Условный арифметический пример: средняя мощность выбранной границы составляет 100 ватт в течение десяти секунд. Получается 1000 джоулей. Если за этот период успешно завершено десять одинаковых задач, простое отношение даёт 100 джоулей на задачу.
Опишите, что считать полезной работой
Укажите единицу результата: успешный запрос выбранного профиля, заданный объём обработки или другая подходящая задача. Отдельно запишите ошибки и незавершённые обращения. Пониженное потребление при большом числе отказов не доказывает лучшую эффективность сервиса.
Показатели запросов можно сопоставлять с метриками vLLM, проверяя смысл каждого счётчика в своей версии. Не смешивайте окна измерения: энергия за час и число ответов за несколько минут не образуют корректного отношения.
Проведите одинаковые серии
Сохраните модель, формат весов, контекст и параллелизм. Проверьте ожидание, прогрев и рабочий поток отдельно. Если сравниваются две конфигурации, одинаковое качество результата и ограничения задержки должны оставаться частью условий.
После теста полезно повторить серию и оценить разброс. Если изменение мало относительно наблюдаемой вариативности, вывод должен оставаться осторожным. Для решения о эксплуатации важна воспроизводимость результата, а не только удачная минимальная величина.
Заранее определите отношение к базовому потреблению в ожидании. Можно показывать полный расход периода и отдельную оценку добавочной нагрузки, но нельзя незаметно менять метод между сериями. В отчёте оба показателя должны иметь собственные названия, границы и условия расчёта.
Используйте измерение в экономике
Энергия помогает оценить одну часть расходов, но не заменяет размещение, поддержку и спрос. Для бизнес-решения свяжите её с юнит-экономикой и бюджетом эксплуатации.
Полный лабораторный отчёт для первого обращения не требуется.