В этом материале
Универсального порога пригодности нет. Оценивается вся машина под конкретную модель: GPU и память, CPU и диски, программная совместимость, сеть и условия эксплуатации.
Вопрос «Подходит ли моя видеокарта?» лучше заменить вопросом «Какую нагрузку стабильно выдержит эта машина?». Одинаковые GPU на разных площадках могут давать разный результат из-за охлаждения, ограничений питания и настроек сервера.
Названия NVIDIA RTX, Tesla и A-series на главной — примеры семейств для обсуждения, а не обещание подключения любой карты.
GPU и видеопамять
Укажите точную модификацию, число карт и объём VRAM каждой из них. Если GPU несколько, добавьте информацию об их соединении и расположении в сервере. Сумма памяти на этикетках не описывает автоматически доступную память единого устройства.
Для нагрузки важны формат весов, контекст и количество одновременных запросов. Возможность запуска небольшой модели не подтверждает возможность обслуживания большой модели с теми же ограничениями качества и задержек.
Совместимость программного окружения
Проверьте поддержку архитектуры GPU выбранным движком, версию драйвера, операционную систему и способ запуска. Список совместимых устройств и методов выполнения меняется, поэтому окончательное решение принимают для зафиксированной версии окружения.
Не обновляйте рабочий исследовательский сервер наугад. Сначала сохраните перечень зависимостей и определите порядок возврата к исходному состоянию. Подготовка пилота не должна разрушать существующую работу владельца.
Ресурсы остальной машины
Нужны сведения о CPU, оперативной памяти и свободном диске. Хост обеспечивает загрузку модели, подготовку запросов, работу API и журналов. Оцените также место для новой версии модели: обновление может потребовать временного хранения нескольких наборов файлов.
На первом этапе не требуется покупать дополнительные компоненты. Сначала найдите ограничение в измерениях и только затем обсуждайте модернизацию.
Площадка и доступность
Опишите питание, охлаждение, интернет и возможность физического обслуживания. Важны не только максимальные значения, но и поведение при обычной работе: ночные перерывы, ограничения провайдера и время реакции на отказ.
Если машина нужна вам по будням, укажите это сразу. Предсказуемое расписание полезнее обещания постоянной доступности, которое невозможно выполнить.
Практические выводы
Подготовьте паспорт конфигурации и список ограничений. Не отправляйте серийные номера, внутренние IP-адреса и пароли без необходимости: для первого решения они обычно не нужны.
Читайте дальше: подготовка сервера, сеть и доступность, пилот подключения.