В этом материале
Сравнение RDMA поверх Ethernet и InfiniBand по адаптерам, коммутаторам, перегрузке и реальным передачам инференса вместо выбора по скорости порта.
RoCE и InfiniBand могут поддерживать коммуникации на основе RDMA, но не являются взаимозаменяемыми настройками произвольной сети. RoCE передаёт RDMA поверх Ethernet, а InfiniBand использует собственную архитектуру фабрики. Для сервинга LLM выбор зависит от полного маршрута и характера обменов, а не от номинальной скорости адаптера. Название протокола не описывает задержку, доступную приложению в загруженном кластере.
Начните с операции сервинга
Отделите обмен между рангами модели, передачу KV между воркерами и обычный API-трафик. Тесно синхронизированный tensor parallel может реагировать на задержку и перегрузку иначе, чем большой асинхронный перенос состояния.
Обзор NCCL описывает коммуникации через поддерживаемые соединения. Выбор доступного транспорта библиотекой не подтверждает соответствие фабрики целевой задержке инференса. Сначала найдите операции на критическом пути реальной модели и определите, что именно ожидает завершения передачи перед следующим шагом вычисления.
Сравните совместимые фабрики целиком
Руководство по программированию RDMA объясняет различия транспортов. Перечислите адаптеры, порты, прошивки, коммутаторы, кабели, маршрутизацию и программы узлов каждого варианта. Проверьте соответствие режима адаптера и среды коммутаторов предполагаемому протоколу.
Общие понятия API не превращают Ethernet-коммутатор в InfiniBand-коммутатор и не гарантируют одинаковую поддержку устройств. Отметьте проверенную поставщиком платформы конфигурацию и самостоятельно собранные части интеграции. Предмет тестирования — фактическое сочетание оборудования и программ, а не абстрактное семейство сетевой технологии.
Учтите перегрузку и соседний трафик
Материал NVIDIA о RoCE в ЦОД рассматривает окружающий дизайн Ethernet. Это не основание слепо копировать настройки перегрузки и управления потоком. Они влияют на всю фабрику и должны соответствовать её проверенному проекту и эксплуатационным ограничениям.
Измеряйте инференс при работе предполагаемых соседних нагрузок. Включите несколько отправителей одному получателю и одновременные передачи в обе стороны. Тихий тест между двумя точками не характеризует рост очередей и конкуренцию общих коммутаторов и соединений узлов.
Измерьте распределение задержки и отказ
Используйте размеры сообщений, группы рангов и конкурентность реального инференса. Отделяйте полезную передачу от настройки, синхронизации и очередей приложения. Записывайте хвост задержки, повторные передачи или ошибки и конкуренцию с копированием между RAM и GPU.
Затем в изолированной проверке воспроизведите контролируемую потерю соединения или воркера. Подтвердите тайм-аут и восстановление на уровне сервинга. Привлекательная пиковая полоса не спасает от зависших запросов, если приложение не имеет ограниченной по времени реакции на исчезновение соседа.
Отделите кластер от дальней сети
Ни RoCE, ни InfiniBand не превращают географически разнесённые партнёрские узлы в GPU за одним локальным коммутатором. WAN отличается задержкой, маршрутизацией и владельцами эксплуатации. Распределённый провайдер может размещать связанные ранги внутри проверенной площадки и направлять независимые запросы между площадками.
Выбирайте фабрику по измеренным требованиям, доступной экспертизе и полной стоимости жизненного цикла. В сравнении указывайте топологию и условия проверки. Название протокола не гарантирует токены в секунду, а обновление адаптеров само по себе не исправляет неудачное размещение параллельной модели.
Материалы по теме
vLLM tensor-parallel-size: когда несколько GPU нужны одной модели, Пропускная способность памяти для LLM: почему гигабайтов недостаточно.