В этом материале
PCIe — часть пути передачи данных, а не самостоятельная оценка скорости модели. Проверяйте топологию и профиль обмена на конкретном приложении, сохраняя разные этапы измерения.
Ускорители одинаковой модели могут стоять в разных слотах и серверных платформах. При этом результаты некоторых нагрузок различаются из-за связей с CPU, сетью и другими GPU. Покупая карту или предлагая собственную машину пулу, полезно изучить путь данных, а не только паспорт ускорителя.
Начните с топологии
Запишите, какие устройства установлены и как они соединены. Поколение интерфейса и доступные линии — характеристики пути, но фактическое поведение зависит также от платформы и настройки.
NVIDIA CUDA Best Practices рассматривает передачи между хостом и устройством как отдельную часть оптимизации. NCCL troubleshooting выделяет проблемы GPU-соединений и топологии для целевой диагностики.
Не переносите теоретическую пропускную способность интерфейса в готовый прогноз токенов в секунду. Между этими величинами находится конкретное приложение.
Разделите загрузку и обычную работу
Модель может интенсивно передавать данные при запуске, а затем выполнять другой профиль операций. Если улучшение видно только на загрузке, оно может быть полезно для восстановления, но не обязательно для каждой генерации.
В условном пилоте измерьте старт из локальной копии весов, первый запрос и устойчивый поток после прогрева. Сохраняйте одинаковые ограничения контекста и версии окружения.
Для системы, переносящей часть данных между RAM и VRAM, выделите отдельный тест. Такая схема отличается от выполнения полностью в памяти ускорителя.
Проверьте несколько GPU
При распределении одной модели устройства обмениваются данными иначе, чем при независимых репликах. Поэтому сумму VRAM нельзя использовать как единственное обоснование архитектуры.
Сравните, где возможно, отдельную работу карт и согласованное распределённое выполнение. Запишите, какая задача должна улучшиться: размещение модели, пропускная способность или иной критерий.
Если обмен ограничивает результат, дополнительный GPU может не дать ожидаемого эффекта. Иногда выгоднее другая роль существующих устройств, но этот вывод также требует проверки качества и эксплуатационных расходов.
Учтите диск и сетевую карту
GPU не работает в изоляции от остального сервера. Загрузка данных, сетевой трафик и активность накопителей могут использовать связанные ресурсы платформы. Для реального режима полезно проверить совместное выполнение.
Добавьте в эксперимент обычную фоновую работу владельца или синтетический её аналог. Сравните очередь, задержки и ошибки. Проблема, появляющаяся только в таком режиме, отличается от неисправности отдельной карты.
Не меняйте системные защиты или оборудование наугад ради показателя. Сначала нужен протокол наблюдений и согласованный план диагностики с возможностью возврата.
Если обсуждается перестановка карты, сначала составьте план возврата и согласуйте простой площадки. После изменения повторите исходный прикладной набор целиком: улучшение отдельного пути передачи не гарантирует сохранения других нужных соединений и ресурса всех установленных устройств.
Как описать конфигурацию партнёрам
Итоговая схема должна показывать GPU, хост, хранение и сеть с проверенными ограничениями. Для финансового решения это полезнее предложения купить ещё одну карту без объяснения, как она будет связана с системой.
Далее пригодятся NUMA в сервере, multi-GPU и методика бенчмарка.