AMD Instinct MI300X: инференс LLM и границы серверного рендеринга

AMD Instinct MI300X рассматривается как конкретная аппаратная конфигурация CDNA 3. Заявленные 192 ГБ задают исходный бюджет проверки, но сами по себе не являются результатом измерения инференса либо пакетного рендеринга.

Точная модель и варианты памяти

MI300X — ускоритель CDNA3 OAM на 192 ГБ HBM3 с энергетическими условиями 750 Вт. Выделенная память GPU отличается от общей организации CPU/GPU у MI300A.

Вариант	Память	Заявленная мощность платы	Охлаждение / формат
MI300X OAM	192 ГБ HBM3	750 Вт	Server-platform cooling; OAM accelerator

Характеристики: Официальная документация продукта или поддержки.

Движок LLM и бюджет памяти

Для gfx942 зафиксируйте поддерживаемую сборку ROCm, веса и контекст. Память узла с несколькими модулями не является одной автоматически доступной процессу областью. Межмодульные коллективные операции проверяются отдельно от загрузки одного GPU.

Запись поддержки ROCm не подтверждает каждый движок инференса, модельное ядро или формат квантования.

Основание совместимости: Матрица совместимости ROCm.

Cycles и пакетный рендеринг

Большая память CDNA3 не означает стандартной поддержки Cycles HIP. Опубликованный путь требует RDNA1 или новее. Успешный инференс или вычислительный HIP-тест не подтверждает пригодность этого ускорителя к выбранному рендеру.

Руководство Blender 5.2 LTS по GPU-рендерингу.

Интеграция в сервер или рабочую станцию

OAM входит в поддерживаемую серверную платформу с её питанием, охлаждением и соединениями. В записи развёртывания сохраняются идентификация модуля и перечень устройств. Не подставляйте описание общей памяти MI300A вместо выделенного бюджета GPU192 ГБ.

Конкретный сценарий проверки

Конфигурация сервинга использует несколько MI300X, но описана только суммой памяти узла. Перепишите доказательства как ёмкость 192 ГБ каждого устройства с явными рангами процессов. Сначала проверьте сохранённую модель с контекстом, затем предполагаемое распределение и обмен. Сохраните реальные выделения памяти каждой GPU. Для модели больше одного устройства требуется продемонстрированный способ распределения, а не вывод из сложения модулей.

Какие доказательства сохранить

Сохраняйте обычную запись проверки вместе с фактическими результатами запуска.

Перед наблюдениями укажите проверенный вариант, программную сборку и режим исполнения. Недоступные измерения оставляйте явно неизвестными.

Следующие поля отделяют опубликованные характеристики от наблюдаемого выделения памяти и завершения заданий, чтобы другой оператор мог повторить тот же опыт в сопоставимом окружении.

Поле доказательства	Что сохранить для этого профиля
Идентификация платы	AMD Instinct MI300X; физический вариант и идентификатор устройства
Границы памяти	192 ГБ заявлено; свободная память до и после загрузки
Артефакт инференса	Хеш весов, квантование, контекст и конфигурация выгрузки на GPU
Артефакт рендера	Хеш сцены, версия рендера, выбранный backend и режим подавления шума
Системные условия	Драйвер, образ или сборка, корпус и конфигурация охлаждения
Завершение задания	Код завершения, корректность результата и обнаруженные ошибки памяти

Сумма узла не заменяет выделения 192 ГБ отдельных устройств при определении распределения, репликации либо использования одной GPU моделью.

Связанные материалы: Связанный разбор: ram-vs-vram, Методика проверки инференса, Каталог GPU NVIDIA и AMD.