В этом материале
Clock event reasons — набор одновременных наблюдений; одна подпись не объясняет весь интервал задержки.
У снижения частоты бывает несколько объяснений
Рабочий процесс инференса может оставаться занятым, пока частота GPU снижается. Само значение частоты не показывает, связано ли это с ограничением мощности, температурой, настройкой или изменением работы. Прежде чем объявлять меньшее число неисправностью, сопоставьте график частоты с фактическим интервалом нагрузки и условиями выполнения запросов.
В справочнике запросов NVML текущие clock event reasons представлены битовой маской. Несколько причин могут быть активны одновременно. Сборщик, который сохраняет только первую подходящую подпись, теряет информацию именно в момент взаимодействия нескольких ограничений.
Разделяйте поддерживаемые и активные причины
Сначала определите поддерживаемые устройством причины, затем записывайте активный набор при каждом наблюдении. Отсутствие поддержки отличается от неактивного состояния. Храните исходную маску, расшифрованные имена и версию библиотеки: обновлённый декодер сможет перечитать старые наблюдения без изменения первоначальных свидетельств.
В справочнике nvidia-smi clock event reasons описаны рядом с частотами, мощностью и температурой. Примечания о доступности важны при сравнении профессиональных станций и серверных ускорителей. Панель не должна превращать неподдерживаемый температурный показатель в успокаивающий зелёный ноль только ради одинакового вида строк всех GPU.
Привяжите наблюдения к нагрузке
Размечайте загрузку модели, прогрев, устойчивый поток запросов и периоды простоя отдельно. Сохраняйте идентификатор устройства, заданные рабочие ограничения, частоты и доступные температуры за один интервал. Указывайте шаг опроса: кратковременный флаг может появиться и исчезнуть между соседними наблюдениями сборщика.
Предположим, условный прогон показывает одновременно программное ограничение мощности и температурную причину, а задержка ответа растёт. Это основание исследовать совместное влияние ограничений. Оно не устанавливает доминирующий фактор каждого запроса и не оправдывает изменение power limit до выяснения охлаждения и конфигурации сервера.
Проверяйте одну гипотезу за раз
Сначала выясните, не совпало ли изменение частоты с изменением самой работы. Более короткие запросы, длинные паузы или другая конкурентность способны изменить состояние устройства без регрессии оборудования. При контролируемой нагрузке сравнивайте историю ограничений и условия среды в нескольких повторных прогонах.
Эксперимент с рабочими лимитами допустим в поддерживаемой конфигурации оборудования и по согласованной процедуре администратора. Фиксируйте исходную настройку, изменённый фактор и интервал сравнения. Одновременное изменение частот, охлаждения и движка лишает результат понятной причинной связи, даже если итоговая цифра бенчмарка улучшилась.
Описывайте интервал наблюдений
В отчёте укажите долю наблюдаемых выборок с каждой поддерживаемой причиной и совместные комбинации флагов. Отдельно поясните, что выборочное покрытие не равно непрерывной длительности события, если метод сбора этого не гарантирует. Рядом нужны распределение задержки и условия выполнения нагрузки.
Полезный результат — воспроизводимая связь конкретной нагрузки и наблюдаемого набора ограничений при известных условиях. Он не должен утверждать, что любой активный флаг означает неисправную карту или что устранение одного видимого признака обязательно ускорит ответ приложения.