В этом материале
Доверие к бенчмарку создаёт протокол, а не большое число токенов в секунду. Сохраняйте условия, разделяйте режимы и показывайте весь результат, включая ошибки и очередь.
Для владельца GPU технический отчёт помогает решить, стоит ли предоставлять машину пулу. Для партнёра, финансирующего инфраструктуру, он помогает оценить предлагаемую конфигурацию. Обеим сторонам нужен воспроизводимый результат, который можно проверить после обновления модели или переноса на другую площадку.
Опишите предмет измерения
Запишите точную конфигурацию: GPU, хост, сеть, версии драйвера, движка и модели. Отдельно сохраните формат весов, шаблон чата и параметры запуска. Укажите, измеряете ли вы одиночное выполнение или работу сетевого сервиса.
vLLM предоставляет отдельные средства бенчмаркинга, а его инструмент проверки serving предназначен для испытания сервера. Название инструмента не заменяет описания нагрузки: один и тот же тестировщик может использовать разные входы и режимы.
Подготовьте репрезентативный поток
Используйте несколько сочетаний длины входа и ответа. Сохраните набор запросов либо способ его генерации. Для сравнения конфигураций он должен оставаться понятным и доступным без клиентских секретов.
Разделяйте реальный наблюдавшийся поток и синтетическую гипотезу. Если данных о будущих пользователях пока нет, тестировать гипотезу нормально. Ненормально представлять удобный синтетический набор как подтверждённую структуру спроса.
Отметьте, используется ли повторяющийся контекст. Иначе прогретый кеш может стать скрытой причиной преимущества одного запуска над другим.
Разделите режимы во времени
Отдельно измерьте запуск, прогрев и устойчивую работу. Сравнивать нужно одинаковые интервалы. Если один сервер тестировался сразу после загрузки, а другой уже работал несколько минут, различие нельзя честно приписать только GPU.
Повторите выбранный режим, сохранив разброс. Один удачный результат не показывает устойчивости. Для рабочего решения важны не только средние значения, но и заметно более медленные обращения.
Согласуйте отсутствие фоновых задач. Если полностью освободить сервер невозможно, зафиксируйте, чем он был занят и почему такой режим отражает реальную эксплуатацию.
Добавьте контрольный повтор исходной конфигурации после серии экспериментов. Если исходный результат тоже изменился, прежде сравнения настроек проверьте температуру, фоновые процессы и состояние площадки. Этот шаг помогает заметить изменение условий, которое иначе ошибочно приписали бы новой модели.
Покажите неудобные показатели
В отчёте должны присутствовать ошибки, отмены, очередь, первый токен и завершение. Не исключайте неуспешные запросы из общей картины без объяснения. Сводная скорость успешных ответов и доля отказов решают разные вопросы.
Добавьте потребление всей машины и условия площадки, если сравнивается эксплуатационная эффективность. Измерение только мощности GPU оставляет за пределами расчёта остальной сервер.
Сохраните сырые результаты в согласованном формате. Краткая таблица удобна для обсуждения, а исходные данные позволяют проверить вывод без повторного доступа к оборудованию.
Завершите ограниченным выводом
Хороший итог формулируется конкретно: эта конфигурация выдержала описанный поток при таких настройках. Он не обещает месячную выручку и не подтверждает любую модель на том же устройстве.
Сверьте его с планом пилота, учётом работы GPU и экономикой эксплуатации. Это делает передачу ресурса предметным решением вместо веры в рекламную цифру.