NVIDIA H200: инференс LLM и границы серверного рендеринга

Относить 141 ГБ к одной GPU

Спецификация H200 указывает 141 ГБ HBM3e на ускоритель. Конфигурации SXM и NVL имеют этот общий показатель, но относятся к разным вариантам построения сервера. Сумма памяти узла получается подсчётом устройств; она не описывает единое непрерывное выделение, доступное произвольному процессу. Поэтому рядом с объёмом должны быть указаны точная модель сервера и идентификатор ускорителя. Спецификацию H100 NVL либо платформы с Grace нельзя незаметно подставлять вместо H200 только потому, что окружающие названия архитектур кажутся похожими и используются в одном поколении инфраструктуры.

Вариант	Локальная память, ГБ	Тип памяти	Заявленная мощность платы, Вт
H200 SXM	141	HBM3e	Не подтверждена
H200 NVL	141	HBM3e	Не подтверждена

Конфигурацию подтверждает спецификация производителя или OEM: первоисточник.

Проверить программную среду Hopper

Нужно использовать сочетание драйвера и runtime, поддерживаемое выбранным движком инференса. Проверяются конкретная архитектура модели, числовой формат и реализация attention, а не только появление GPU в списке устройств. Первый успешный запрос следует сравнить с эталонным результатом до нагрузочного тестирования сервиса. В записи должны присутствовать переходы на резервные ядра и выгрузка вычислений на CPU. При использовании разделов необходимо отдельно указывать видимую им память и ресурсы. Полные физические 141 ГБ в таком случае не подходят для прямого сравнения размещения модели.

Граница поддержки описана в документации стека инференса.

Использовать дополнительную ёмкость под определённую нагрузку

Больший бюджет HBM можно направить на веса, длинный контекст, дополнительные активные запросы или резерв runtime, однако эти способы использования конкурируют. Сначала нужно определить распределение длины входа и ограничения выхода, затем измерять рост кеша при увеличении конкурентности. Конфигурацию H200 следует сравнивать с другим ускорителем при одинаковых целях сервиса. Пропускная способность памяти является характеристикой устройства, а не формулой количества токенов в секунду. Решения планировщика, ядра и форма нагрузки остаются важными. Статья не может подтвердить размещение checkpoint и набора запросов без фактической проверки выделений.

Проверить рендер без предположения о равенстве RTX

H200 является ускорителем с вычислительной специализацией. Его ёмкость HBM может быть важна для размещения сцены, однако рендеру всё равно необходимы документированные поддерживаемые backend и путь устройства. В Cycles нужно запускать полную сцену под выбранным драйвером и сравнивать качество результата, поддержку функций и пиковую память. Из названия Hopper нельзя выводить наличие дисплейного конвейера рабочей станции или набора специализированных функций RTX. Нагрузочный тест сервиса LLM не заменяет проверку рендера без графической сессии в той версии движка, которая будет реально использоваться.

Требования рендера отдельно описаны в руководстве Cycles GPU.

Сохранить границы платформы в выводах

Модулям SXM и серверным конфигурациям NVL необходимы соответствующие платформы хоста, прошивки, электропитание и охлаждение. Оценивать длительную производительность следует только после подтверждения этих условий. При описании эксплуатационной эффективности нужно учитывать ошибки выделения памяти, восстановление сервиса и измерения мощности всей машины. Результат конкретной конфигурации следует связывать с её сервером, не обобщая на любую установку H200. Каталог фиксирует публичные спецификации и методы оценки. Он не утверждает, что Retrivium эксплуатирует данную модель или что внешняя платформа маршрутизации одобрила такое развёртывание.

По теме: RAM и VRAM и воспроизводимый тест инференса. Каталог GPUсодержит границы обзора, варианты моделей и неподтверждённые характеристики.

Дополнительные первичные источники: 1.