Температура на входе, GPU и памяти: разные датчики

Температуры входящего воздуха, GPU и памяти GPU относятся к разным точкам измерения. Один универсальный порог «температуры сервера» не описывает их безопасное или штатное состояние. Сохраните sensor name, location, единицы и поддержку устройства, затем связывайте threshold именно с этим датчиком. Отсутствующее показание не означает холодный компонент, а температурный запас до ограничения не всегда является абсолютной температурой и требует отдельной подписи в системе наблюдений.

Уточните физическую точку

Документация nvidia-smi различает GPU и memory temperature, а также относительные T.Limit показания на поддерживаемых устройствах. Не смешивайте их с inlet air датчиком chassis. Сохраните исходное имя поля, чтобы преобразование dashboard не удалило существенную часть смысла. Значение в градусах может описывать текущую температуру либо запас до определенной границы. Простая сортировка всех таких чисел как «чем больше, тем хуже» способна дать неправильный результат, если один показатель уменьшается при приближении к своему пределу.

Проверьте поддержку и отсутствие данных

NVML device queries предусматривает неподдерживаемые запросы, которые нужно отличать от допустимого нулевого значения. Сохраните статус чтения отдельно от value. Если collector заменяет N/A на ноль, среднее графика становится физически неверным. При нескольких GPU фиксируйте идентичность и тип сенсора для каждой серии. Не объявляйте память прохладной только потому, что конкретная карта или driver не предоставляет ее температуру. Такое отсутствие наблюдения следует сохранять как ограничение, а не как подтверждение благополучия компонента.

Пример карты датчиков

Создайте таблицу с тремя строками inlet air, GPU core и GPU memory. Для каждой укажите устройство, location, API или BMC источник, абсолютную либо относительную семантику и применимый threshold source. Это схема inventory без универсальных градусов для всех серверов. Если поле недоступно, отметьте это явно. Рядом сохраните данные о cooling setup и модель оборудования, чтобы следующая проверка не использовала границы другого устройства только из-за похожего названия в monitoring шаблоне.

Диагностическая развилка

Если inlet стабилен, а один компонент нагревается сильнее при одинаковой задаче, исследуйте локальный cooling path и workload, не объявляя автоматически перегретой всю комнату. Если одновременно растут все доступные температуры, проверьте условия подачи воздуха и общую нагрузку. Это гипотезы для проверки, не готовый диагноз. Сопоставьте clocks, throttling observations и timestamps. Одна высокая точка без длительности и сведения о режиме не определяет причину изменения latency. Не меняйте thermal target ради улучшения красивого графика без документации и согласованной процедуры конкретной платформы.

Оформите threshold policy

Укажите, откуда взята граница для каждого сенсора, как трактуется missing data и сколько времени должно длиться условие для выбранного alert. Не подменяйте documented slowdown threshold собственным названием «авария», не объяснив правило. Повторите inventory после driver, firmware или hardware изменений. Полезный результат сохраняет физический смысл каждого показания и дает воспроизводимую диагностику, не обещая нормальную работу по единственному общему числу. Для сравнения inference режимов используйте одинаковые sensors и cooling conditions. Иначе кажущееся улучшение может означать, что collector сменил источник, потерял memory readings или начал выводить относительный запас вместо абсолютной температуры, а не реальное снижение нагрева исследуемого устройства.

Связанные материалы

Электричество и охлаждение: скрытые условия работы GPU; Мониторинг GPU без лишних графиков: пять уровней наблюдения.