В этом материале
Официальная документация платформ различает конфигурации H20 на 96 и 141 ГБ. Объём памяти определяется точной платформой, а не общим названием H20.
Различить документированные конфигурации памяти
Примечания NVIDIA к выпуску trusted-computing описывают конфигурацию HGX H20 A с 96 ГБ HBM3 и конфигурацию HGX H20 со 141 ГБ HBM3e. Это сведения о конкретных платформах, а не основание назначать любой объём каждой GPU с названием H20. Руководство MIG также указывает H20 на 96 ГБ. Для реального сервера нужно сохранять полное обозначение платформы и опрашивать физический ускоритель до выбора бюджета памяти. Объём нельзя выводить из профиля обслуживания модели, где число способно обозначать рабочий бюджет runtime, а не физическую спецификацию платы.
| Вариант | Локальная память, ГБ | Тип памяти | Заявленная мощность платы, Вт |
|---|---|---|---|
| HGX H20 A | 96 | HBM3 | Не подтверждена |
| HGX H20 | 141 | HBM3e | Не подтверждена |
Конфигурацию подтверждает спецификация производителя или OEM: первоисточник.
Отделить пригодность архитектуры от проверки модели
H20 использует программный путь Hopper, однако выбранный пакет инференса всё равно требует явной проверки версии и модели. Нужно записать CUDA runtime, драйвер, сборку движка, реализацию attention и квантование. Проверки корректности выполняются при предполагаемых длинах контекста, а не заменяются предположением о соседнем продукте Hopper. Если матрица ПО перечисляет определённый профиль H20, следует сохранить её версию и точное название профиля. Такая запись подтверждает описанное сочетание. Она не распространяется на каждую модель, все числовые точности или произвольные будущие выпуски пакетов.
Граница поддержки описана в документации стека инференса.
Сравнить размещение при одинаковых ограничениях сервиса
Сравнивая документированные конфигурации на 96 и 141 ГБ, нужно сохранять одинаковыми checkpoint, распределение входов, лимиты выхода и целевое число активных запросов. Выделения для весов, кеша и рабочих областей движка измеряются отдельно. При настроенном MIG используется бюджет назначенного экземпляра. Оперативная память хоста или сумма восьми устройств узла HGX не является локальной памятью одного ускорителя. Если модель распределена между устройствами, необходимо описать разделение и путь коллективных обменов, а не представлять общую ёмкость узла как обычное размещение модели на одиночной GPU.
Не выводить графический стек из объёма HBM
Использованные документы H20 описывают вычислительную платформу. Они не подтверждают аппаратную трассировку RTX, конфигурацию интерактивного дисплея или поддержку каждого рендера. Cycles необходимо оценивать через его собственный поддерживаемый путь устройства CUDA либо OptiX и требования к драйверу. Реальная сцена проверяется по функциям и результату отдельно от инференса. Большой объём памяти не компенсирует неподдерживаемый backend движка. Другим системам рендера нужны собственные актуальные матрицы, а не предположение, перенесённое из Blender. Успех вычислительного теста поэтому не заменяет проверку конкретного графического рабочего процесса.
Требования рендера отдельно описаны в руководстве Cycles GPU.
Явно сохранить неизвестные характеристики платы
В этой статье мощность платы оставлена неподтверждённой: значение не переносится из H100, H200 или другого описания H20. Проверка платформы должна опираться на точную документацию OEM по питанию и охлаждению. С каждым результатом следует сохранять версии прошивок и список видимых устройств, чтобы впоследствии не перепутать системы на 96 и 141 ГБ. Публичная документация платформ полезна для планирования, однако не подтверждает актуальные поставки, установленную конфигурацию Retrivium или одобрение endpoint провайдера внешней платформой маршрутизации. Неизвестная характеристика остаётся открытым вопросом до проверки конкретного оборудования.
По теме: RAM и VRAM и воспроизводимый тест инференса. Каталог GPUсодержит границы обзора, варианты моделей и неподтверждённые характеристики.