# RoCE и InfiniBand для LLM: проверяйте фабрику целиком

Сравнение RDMA поверх Ethernet и InfiniBand по адаптерам, коммутаторам, перегрузке и реальным передачам инференса вместо выбора по скорости порта.

Автор: Команда Retrivium
Обновлено: 2026-11-03
Канонический URL: https://retrivium.ai/ru/journal/roce-vs-infiniband-llm-serving/
Language: ru

RoCE и InfiniBand могут поддерживать коммуникации на основе RDMA, но не являются взаимозаменяемыми настройками произвольной сети. RoCE передаёт RDMA поверх Ethernet, а InfiniBand использует собственную архитектуру фабрики. Для сервинга LLM выбор зависит от полного маршрута и характера обменов, а не от номинальной скорости адаптера. Название протокола не описывает задержку, доступную приложению в загруженном кластере.

## Начните с операции сервинга

Отделите обмен между рангами модели, передачу KV между воркерами и обычный API-трафик. Тесно синхронизированный tensor parallel может реагировать на задержку и перегрузку иначе, чем большой асинхронный перенос состояния.

[Обзор NCCL](https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/overview.html) описывает коммуникации через поддерживаемые соединения. Выбор доступного транспорта библиотекой не подтверждает соответствие фабрики целевой задержке инференса. Сначала найдите операции на критическом пути реальной модели и определите, что именно ожидает завершения передачи перед следующим шагом вычисления.

## Сравните совместимые фабрики целиком

[Руководство по программированию RDMA](https://docs.nvidia.com/rdma-aware-networks-programming-user-manual-1-7.pdf) объясняет различия транспортов. Перечислите адаптеры, порты, прошивки, коммутаторы, кабели, маршрутизацию и программы узлов каждого варианта. Проверьте соответствие режима адаптера и среды коммутаторов предполагаемому протоколу.

Общие понятия API не превращают Ethernet-коммутатор в InfiniBand-коммутатор и не гарантируют одинаковую поддержку устройств. Отметьте проверенную поставщиком платформы конфигурацию и самостоятельно собранные части интеграции. Предмет тестирования — фактическое сочетание оборудования и программ, а не абстрактное семейство сетевой технологии.

## Учтите перегрузку и соседний трафик

[Материал NVIDIA о RoCE в ЦОД](https://network.nvidia.com/sites/default/files/pdf/whitepapers/WP_RoCE_in_the_Data_Center.pdf) рассматривает окружающий дизайн Ethernet. Это не основание слепо копировать настройки перегрузки и управления потоком. Они влияют на всю фабрику и должны соответствовать её проверенному проекту и эксплуатационным ограничениям.

Измеряйте инференс при работе предполагаемых соседних нагрузок. Включите несколько отправителей одному получателю и одновременные передачи в обе стороны. Тихий тест между двумя точками не характеризует рост очередей и конкуренцию общих коммутаторов и соединений узлов.

## Измерьте распределение задержки и отказ

Используйте размеры сообщений, группы рангов и конкурентность реального инференса. Отделяйте полезную передачу от настройки, синхронизации и очередей приложения. Записывайте хвост задержки, повторные передачи или ошибки и конкуренцию с копированием между RAM и GPU.

Затем в изолированной проверке воспроизведите контролируемую потерю соединения или воркера. Подтвердите тайм-аут и восстановление на уровне сервинга. Привлекательная пиковая полоса не спасает от зависших запросов, если приложение не имеет ограниченной по времени реакции на исчезновение соседа.

## Отделите кластер от дальней сети

Ни RoCE, ни InfiniBand не превращают географически разнесённые партнёрские узлы в GPU за одним локальным коммутатором. WAN отличается задержкой, маршрутизацией и владельцами эксплуатации. Распределённый провайдер может размещать связанные ранги внутри проверенной площадки и направлять независимые запросы между площадками.

Выбирайте фабрику по измеренным требованиям, доступной экспертизе и полной стоимости жизненного цикла. В сравнении указывайте топологию и условия проверки. Название протокола не гарантирует токены в секунду, а обновление адаптеров само по себе не исправляет неудачное размещение параллельной модели.

## Материалы по теме

[vLLM tensor-parallel-size: когда несколько GPU нужны одной модели](/ru/journal/vllm-tensor-parallel-size/), [Пропускная способность памяти для LLM: почему гигабайтов недостаточно](/ru/journal/memory-bandwidth-llm/).