В этом материале
Объединить машины в сервис и распределить одну модель по GPU — разные архитектурные задачи. Память удалённых карт не складывается автоматически в общий быстрый ресурс.
Слово «пул» описывает организацию ресурсов, но не объясняет, как выполняется модель. Несколько машин могут обслуживать разные модели или независимые копии одной модели. Другой вариант — совместно выполнять одну модель на нескольких ускорителях. У этих подходов разные требования к оборудованию и сети.
Для владельца это важно: две карты по отдельности не обязательно заменяют одну карту с вдвое большей памятью.
Независимые реплики
Каждый узел запускает модель, которая помещается в его ресурсы. Запросы распределяются между узлами на уровне сервиса. Такая схема позволяет добавлять мощности для параллельной обработки, но не увеличивает автоматически максимальный размер модели на отдельном узле.
Разные машины могут требовать разных ограничений. Если одна реплика медленнее, общий сервис должен учитывать её характеристики, а не направлять одинаковую нагрузку без проверки.
Распределение одной модели
Когда модель не помещается на один GPU или требуется другой профиль выполнения, используют методы распределённого запуска. Конкретный метод зависит от движка, архитектуры модели и соединений между устройствами.
Такой запуск предполагает обмен данными. Поэтому важны топология внутри сервера, пропускная способность и задержки соединений. Набор GPU на разных домашних площадках нельзя считать эквивалентом связанного серверного узла только по суммарной VRAM.
Что указать в описании оборудования
Помимо числа GPU сообщите, находятся ли они в одном сервере, какие интерфейсы используются и есть ли выделенная сеть между узлами. Если топология неизвестна, так и напишите: её можно проверить на техническом этапе.
Не покупайте межсоединения до выбора нагрузки. Сначала нужно понять, требуется ли распределять одну модель или выгоднее запускать независимые реплики. Это решение определяется измерениями, а не стремлением объединить всё доступное железо.
Как оценивать пилот
Сравните хотя бы два доступных сценария: самостоятельную работу GPU и согласованный распределённый запуск. Зафиксируйте модель, параметры, контекст и состав тестовых запросов. Измерьте не только скорость, но и устойчивость при отказе одного компонента.
Удобно закончить тест схемой: где загружаются веса, куда приходит запрос и какие узлы нужны для ответа. Такая схема делает ограничения понятными владельцу и оператору.