В этом материале
Эталон — описание проверенного сценария, а не требование покупать одинаковые карты. Он позволяет увидеть, чем новая машина отличается и какие проверки нужно повторить перед подключением.
Если каждый новый сервер подключается как отдельный эксперимент, пул быстро накапливает труднообъяснимые различия. Одна машина использует иной драйвер, другая — другой формат весов, третья — неявные параметры запуска. Эталонная конфигурация помогает сохранить связь между оборудованием и проверенным поведением сервиса.
Для небольшого проекта эталоном может быть один воспроизводимый узел и его описание. Важно не количество документов, а возможность другого специалиста понять, что проверялось и какие изменения требуют нового теста.
Зафиксируйте аппаратную основу
Укажите модель GPU, память, число устройств, ресурсы хоста и соединения. Добавьте условия площадки, которые влияют на работу: доступный режим питания, сеть и способ обслуживания. Не смешивайте разные модификации оборудования под одним общим названием.
Эталон не должен превращаться в список обязательных покупок для всех владельцев. Новая машина может быть полезной с другим профилем нагрузки. Сначала важно увидеть отличия, а затем определить, какие из них существенны для выбранной задачи.
Сохраните программный набор
Нужны версии драйвера, среды выполнения, движка и модели. Укажите формат весов и параметры запуска. Ссылка на постоянно обновляющийся тег без сохранённой версии не обеспечивает точного повторения результата.
Документация NVIDIA CUDA Compatibility показывает зависимость совместимости от версий и доступных функций. Поэтому запись «CUDA установлена» недостаточна для сравнения узлов. Необходимы конкретные версии и подтверждение нужного сценария, а не предположение о совместимости по названию семейства.
Опишите рабочую нагрузку
Эталон должен включать запросы с понятной длиной входа и ответа, параллелизм и режим прогрева. Отдельно обозначьте проверенные функции модели. Результат текстового чата не подтверждает автоматически работу инструментов или структурированного вывода.
Сохраните способ наблюдения. Метрики vLLM помогают выбрать показатели сервиса, но их нужно связать с версией и сценарием. Показатель без единицы измерения и описания нагрузки трудно использовать для решения о следующем сервере.
Ведите перечень отклонений
Предлагаемый пример: новый узел совпадает по GPU, но имеет меньший объём RAM и другой диск. Команда сначала проверяет загрузку модели и восстановление, затем повторяет сервисный тест. Если ограничение проявляется только при обновлении весов, это тоже часть паспорта узла.
Не объединяйте все отклонения одним статусом «слабее» или «лучше». Некоторым задачам важнее память, другим — время запуска или соединения. Эталон даёт язык для такого сравнения, сохраняя возможность использовать неоднородный парк.
Для весов полезно сохранить точную ревизию и идентификатор артефакта. Два файла с одинаковым коротким названием могут относиться к разным преобразованиям модели. Если такой идентификатор изменился, результаты прежней проверки нельзя автоматически переносить на новую сборку без сравнения условий.
Применяйте эталон при следующем решении
Владелец может прислать характеристики своей машины и сопоставить их с выбранным сценарием. Финансовому партнёру эталон помогает понять, что уже подтверждено и какие расходы связаны с новым вариантом. Это сокращает неопределённость до обсуждения расширения.
Подготовиться помогут воспроизводимый стек и смешанный парк GPU.