В этом материале
VRAM одной GPU, сумма платы, память модуля и общая память CPU/GPU — разные бюджеты. Сложение этих чисел может создать ложный вывод о размещении модели.
У каждого числа памяти должен быть владелец
Полезная инвентаризация фиксирует, какой физический компонент владеет пулом памяти и какое программное устройство способно её выделять. Слова GPU, плата, модуль, узел и стойка не являются взаимозаменяемыми единицами. Страница продукта может показывать сумму для целой сборки, тогда как процесс инференса видит один компонент. Нужно сохранять исходную единицу, область ёмкости и количество устройств. Оперативная память хоста поддерживает предварительную обработку или offload, однако не становится дополнительной выделенной VRAM с одинаковым поведением доступа и производительностью. Такой перенос меняет сам рабочий путь приложения.
A16 — четыре устройства по 16 ГБ на плате
Спецификация NVIDIA A16 описывает четыре GPU по 16 ГБ. Суммарные 64 ГБ платы нельзя использовать как ёмкость одного обычного устройства процесса. Независимые workers могут занимать разные GPU, однако модели, распределённой между ними, нужен явный параллелизм. Та же логика применима к другим многопроцессорным платам с иными количествами и объёмами. В инвентаризации следует указывать как память одной GPU, так и сумму платы. Это помогает оператору не выбрать checkpoint только по большому числу, которое не соответствует локальному выделению.
MI250 делит OAM на отдельные устройства
Руководство AMD по приёмке MI250 и MI250X описывает два GCD на OAM: каждый перечисляется независимо и связан с 64 ГБ, что даёт 128 ГБ на модуль. Поэтому количество модулей отличается от числа устройств, видимых фреймворку. Ранги процессов и коллективные операции должны соответствовать этой топологии. При этом модуль с несколькими кристаллами в другой архитектуре не обязательно означает несколько программных устройств. Нужно использовать фактическую модель устройства производителя, а не универсальное правило, придуманное по фотографиям упаковки или количеству кремниевых компонентов.
Общую память APU нельзя считать дважды
Технический документ AMD CDNA 3 описывает MI300A со 128 ГБ единой HBM3 для CPU и GPU. Работа CPU и выделения GPU конкурируют внутри общего физического бюджета. Неверно записывать это как 128 ГБ оперативной памяти CPU плюс ещё 128 ГБ выделенной памяти GPU. Интегрированные Radeon и другие системы общей памяти также требуют учёта конкретной платформы, хотя их конструкции отличаются. Общая адресация не доказывает, что каждый фреймворк избегает копирований или достигает определённой скорости. Рабочее размещение тензоров проверяется на используемом runtime.
Отличить физическую ёмкость от выделенной
Профили NVIDIA MIG описывают выделенные ресурсы, а не обязательно каждый физический байт полного ускорителя. Раздел, виртуальная машина или контейнер могут показывать меньший бюджет. Нужно записать, сколько приложение действительно способно выделить после резервов runtime, затем учесть веса, кеш и рабочие области. Для рендера добавляются геометрия, текстуры и структуры ускорения. Совместное использование памяти нескольких устройств требует явной поддержки приложения; быстрое межсоединение само по себе не является командой объединить пулы. Такой учёт предотвращает ошибочные выводы как о размещении модели, так и о размещении сцены.
Связанные статьи: RAM и VRAM: какую память считать при выборе AI-сервера, VRAM для LLM: почему размер модели — не весь расчёт. Каталог GPU.