В этом материале
Различие размещения экспертов и разбиения тензоров: группы attention и MoE, неравномерность маршрутизации и проверка многопроцессорной топологии.
Модели mixture-of-experts направляют каждый токен через часть экспертов. Expert parallel распределяет владение экспертами между рангами, а tensor parallel разбивает вычисление тензоров между рангами. Стратегии способны взаимодействовать, но не являются разными названиями использования нескольких GPU. Число активных параметров также не описывает полные требования размещения: неактивные на конкретном токене веса всё равно нужны развёртыванию.
Разделите хранение и активную работу
Перечислите все необходимые веса, затем активируемых для токена экспертов. Небольшая активная доля может уменьшить арифметическую работу, но не удаляет остальные веса. Attention и общие слои сохраняют собственные требования памяти и размещения.
Руководство vLLM по параллелизму различает стратегии. Начните с карты слоёв и топологии оборудования. Проверка только того, помещаются ли активные параметры на GPU, способна привести к конфигурации, которая не загружает всю модель или не может эффективно передавать работу выбранным экспертам.
Нарисуйте группы attention и экспертов
Документация expert parallel в vLLM описывает взаимодействие групп expert, tensor и data parallel. Указанные отношения относятся к документированной конфигурации, а не автоматически ко всем средам исполнения MoE.
Отдельно нарисуйте операцию attention и обращение к экспертам. Подпишите ранги общей attention-работы и владельцев выбранных экспертов. Явно укажите реплицированные и разделённые веса. Это предотвращает ложную схему, где каждый GPU выглядит независимым сервером полной модели, хотя на самом деле участвует в связанной группе исполнения.
Проследите отправку и возврат токена
Токену может понадобиться достигнуть владельца эксперта и получить результат до следующего шага. Поэтому характер связи важен наряду с вычислительной мощностью GPU. Неравномерный выбор экспертов способен сосредоточить работу на части рангов при приемлемой общей средней загрузке.
Обзор коммуникаций NCCL объясняет доступные примитивы, но реальный путь определяют реализация движка и фабрика. Измеряйте отправку, исполнение эксперта и объединение результатов вместо вывода идеальной скорости all-to-all из характеристик сетевого адаптера.
Сравните топологии на разных задачах
Используйте запросы с ожидаемыми языками, кодом и длиной вывода. Сохраните ревизию модели и генерацию при смене поддерживаемой раскладки групп. Включите всплески и устойчивый смешанный поток запросов, а не только повтор одного удобного входа.
Записывайте память рангов, очереди, время связи, завершения и равномерность токенов. Исследуйте самый медленный ранг, не усредняя все GPU в привлекательный процент загрузки. Топология с большим числом размещённых экспертов способна ухудшить задержку, если обращения слишком часто проходят через ограниченное соединение.
Определите проверенную группу исполнения
Выберите раскладку, размещающую полную модель и выполняющую требования сервиса при реалистичной неравномерности. Зафиксируйте релиз движка, размеры групп, коннекторы и измеренные связи. Изменение MoE backend может менять одновременно исполнение и потребность в памяти.
В распределённой сети провайдера связанные группы экспертов должны находиться внутри явно проверенной топологии. Географически независимые GPU при подходящих условиях обслуживают независимые реплики. Их нельзя объявлять одной эффективной expert-parallel машиной только потому, что суммарная память превышает размер чекпойнта.
Материалы по теме
vLLM tensor-parallel-size: когда несколько GPU нужны одной модели, Пропускная способность памяти для LLM: почему гигабайтов недостаточно.