В этом материале
Дельта NVLink имеет смысл только для одинакового поля, области и эпохи; отсутствующее значение нельзя принимать за ноль.
Начать с поколения и топологии
NVLink telemetry зависит от поколения оборудования и версии инструмента. Один универсальный parser, ожидающий одинаковые строки для каждой карты, способен незаметно потерять данные после обновления. Документация dcgmi nvlink различает организацию ошибок по поколениям: для Hopper и более старых устройств представлены секции по links, для Blackwell и новее — GPU-level поля. Поэтому сначала сохраняют модель, архитектуру, версии DCGM и драйвера, затем состояние доступных соединений. Индекс link сам по себе не является достаточным идентификатором между разными машинами. Он должен оставаться связанным с устройством и снимком топологии, чтобы сравнение относилось к одному и тому же физическому пути.
Сохранить смысл каждого поля
Раздел DCGM о топологии и links помогает связать наблюдения с соединениями системы. В реестре метрик записывают имя, идентификатор поля, область, единицы и тип значения. Накопленное число ошибок, текущее состояние link и BER нельзя обрабатывать одной формулой. Особенно опасно вычислять дельту для уже нормированного показателя только потому, что он находится рядом со счётчиками в выводе. Неподдерживаемое или пустое значение сохраняют как неизвестное с причиной. Документация отдельно предупреждает, что отсутствие части Blackwell-полей не означает нулевой результат. Такой пробел должен быть виден на графике и в диагностическом отчёте, а не маскироваться успешной зелёной линией.
Рассчитывать дельту в одной эпохе
Для накопленного счётчика фиксируют значение до и после ограниченного интервала вместе с временем и идентичностью устройства. Если значение уменьшилось, не публикуют отрицательное число ошибок: сначала проверяют сброс, перезапуск, замену GPU и изменение источника данных. Новая эпоха получает новый baseline. Начальное историческое значение тоже не следует выдавать за ошибки текущего теста. Для сравнения окон сохраняют продолжительность и состав нагрузки, поскольку одинаковая дельта при разном объёме обмена описывает разные условия. Универсальный аварийный порог без модели, типа ошибки и рекомендаций производителя здесь не возникает; классификацию строят на документированном смысле конкретного поля и контексте наблюдения.
Сопоставить ошибки с workload
Диагностический опыт сравнивает спокойное окно и ограниченный меж-GPU обмен с известной конфигурацией. Одновременно сохраняют состояние links, длительность операции и события системы. Если счётчик растёт только во время обмена, это основание для дальнейшего исследования пути, а не автоматическое доказательство неисправного GPU. Если меняется topology или область поля, сначала исправляют сопоставление данных. Нельзя просто суммировать GPU-level и per-link значения: области могут пересекаться, а смысл отличаться. Любые действия с reset исключают из обычного наблюдения без отдельного обоснования, поскольку они могут удалить полезную историю и усложнить проверку повторяемости симптома в следующем окне.
Подготовить диагностический пакет
Пакет содержит исходный вывод инструмента, версии, снимок топологии, baseline, конечные значения и причины разрывов временного ряда. Полезны multi-GPU конфигурации и tensor parallel vLLM. Утверждение в отчёте ограничивают наблюдаемой дельтой определённого поля при выбранной работе. Отсутствие роста не доказывает полную исправность межсоединений, особенно когда часть telemetry недоступна. Положительная дельта не устанавливает причину без дополнительных проверок. Такое представление сохраняет техническую точность между поколениями оборудования и помогает отличить реальное изменение системы от смены формата вывода, неполной поддержки или ошибочного объединения разных областей счётчиков.