В этом материале
H100 PCIe, SXM и NVL — разные варианты развёртывания. У пары NVL 188 ГБ распределены между двумя GPU по 94 ГБ, а не образуют одно выделение.
Прочитать полное обозначение H100
Для инвентаризации H100 недостаточно названия семейства. Исходная карта PCIe имеет 80 ГБ HBM2e, конфигурация SXM — 80 ГБ HBM3, а для исполнения NVL заявлены 94 ГБ на одну GPU. Эти различия памяти и платформы влияют на размещение данных, охлаждение и соединения. Маркетинговые 188 ГБ NVL описывают парную конфигурацию. Программе всё равно нужна явная стратегия выполнения и размещения памяти между устройствами. Пара не становится обычной одиночной видеокартой на 188 ГБ, а наличие соединения не выбирает параллелизм модели автоматически.
| Вариант | Локальная память, ГБ | Тип памяти | Заявленная мощность платы, Вт |
|---|---|---|---|
| H100 PCIe | 80 | HBM2e | 350 |
| H100 SXM | 80 | HBM3 | 700 |
| H100 NVL per GPU | 94 | HBM3 | 350–400 |
Конфигурацию подтверждает спецификация производителя или OEM: первоисточник.
Выбрать конкретный путь выполнения Hopper
Hopper поддерживается современными стеками инференса, однако название архитектуры не подтверждает каждую модель и точность вычислений. Нужно записать сборку vLLM, runtime, драйвер, backend attention и ревизию checkpoint. Проверять следует предполагаемый числовой формат, а не выводить его пригодность из графика пиковой производительности. Ядро, доступное для одного способа квантования, может отсутствовать для другого. Вместе с результатом нужно сохранять выбранную полную GPU либо конфигурацию MIG. Программа видит выделенные ей память и ресурсы, а не все физические байты, заявленные для сервера.
Граница поддержки описана в документации стека инференса.
Измерить сервис в реальной топологии
Парная установка NVL и сервер SXM отличаются соединениями хоста и ускорителей. Для tensor parallelism нужно проверить, какие устройства являются peer и где действительно проходит трафик коллективных операций. Сравнение выполняется на одной модели, одинаковых длинах входа и выхода и одинаковом характере поступления запросов. Вместе с количеством обработанных выходных токенов следует указывать ошибки и хвостовые задержки. Один короткий запрос способен скрыть рост кеша и накладные расходы обменов. Ни наличие NVLink, ни общая память узла сами по себе не доказывают улучшение пользовательской производительности.
Не считать проверку инференса поддержкой рендера
H100 предназначен для вычислений, а не для графики рабочей станции RTX. Движок рендера должен явно поддерживать установленный backend, драйвер и среду устройства. Для Cycles нужно проверить типичную сцену, функции материалов и результат при выполнении без графической сессии. Памяти должно хватать на геометрию, текстуры и рабочие области рендера независимо от теста LLM. Из названия Hopper нельзя предполагать специализированные возможности трассировки RTX. Успешную проверку вычислений CUDA также нельзя переносить на каждый плагин рендера или коммерческий движок без отдельного запуска.
Требования рендера отдельно описаны в руководстве Cycles GPU.
Учитывать мощность и охлаждение конфигурации
Опубликованные в таблице лимиты описывают конфигурации ускорителей, а не электричество, потребляемое целым сервером. Модулю SXM необходимы предусмотренные для него базовая плата и система охлаждения; он не является картой расширения PCIe. Настройки мощности OEM, прошивки и сведения об охлаждении нужно сохранять вместе с тестом. Перед выводом о стабильности установки следует выполнять длительные запросы и проверять температурное поведение. Эта статья является руководством по конфигурациям. Она не заявляет установленную мощность H100 у Retrivium, доступность через OpenRouter или гарантированный результат для какой-либо модели.
По теме: RAM и VRAM и воспроизводимый тест инференса. Каталог GPUсодержит границы обзора, варианты моделей и неподтверждённые характеристики.