В этом материале
Оптимальная нагрузка зависит от продукта. Сравнивайте общий выпуск полезных ответов вместе с ожиданием отдельного пользователя и выбирайте режим до появления неприемлемой очереди.
Две настройки сервера могут давать противоположные преимущества. Одна обслуживает больше совокупной работы, другая раньше начинает отвечать отдельному человеку. Для владельца GPU важно понимать, какой результат оператор хочет получить: иначе спор о «плохой скорости» может оказаться спором о разных целях.
Договоритесь о значении скорости
В разговоре часто смешивают время первого токена, длительность ответа, скорость выдачи одному клиенту и суммарную работу всех запросов. Обозначьте каждую величину отдельно и сохраните метод подсчёта.
Метрики vLLM включают разные измерения очереди и времени запросов. Для переговоров не обязательно запоминать имена всех счётчиков. Достаточно понимать, какой этап описывает показатель и что осталось за границами измерения.
Например, быстрая генерация после долгого ожидания не равна быстрому ответу с точки зрения пользователя. А большое число токенов по всей машине не означает такой же скорости в каждой сессии.
Выберите пользовательский сценарий
Интерактивный помощник, фоновая обработка и подготовка больших документов могут требовать разных компромиссов. Сначала сформулируйте, какое ожидание допустимо для конкретной задачи, затем сравнивайте настройки.
Не назначайте один универсальный порог для любого сервиса. Если продукт ещё не определён, полезнее проверить несколько профилей и показать ограничения каждого. Это даст владельцу больше информации о возможных ролях его оборудования.
Для партнёра, финансирующего пул, такая матрица помогает увидеть, какие именно технические возможности приобретаются вместе с дополнительными GPU.
Постройте кривую нагрузки
Постепенно увеличивайте интенсивность обращений. На каждой ступени записывайте успешную работу за интервал, ожидание первого токена и полную задержку. Сохраняйте не только среднее, но и медленную часть распределения.
Полезная таблица эксперимента содержит столбцы «нагрузка», «успешные запросы», «типичная задержка», «медленные обращения» и «ошибки». У каждой строки должны быть одинаковые правила измерения.
Ищите участок, после которого новые обращения в основном увеличивают очередь. Он показывает, где прежняя конфигурация перестаёт соответствовать цели. Не обязательно доводить сервер до аварии, чтобы найти разумный рабочий предел.
Сравните технические варианты
После измерения можно обсудить ограничение параллелизма, другой профиль модели, разделение потоков или дополнительную реплику. Новое оборудование имеет смысл рассматривать вместе с этими альтернативами.
Выбор самого большого совокупного числа не всегда лучшая эксплуатационная стратегия. Если пользователи прерывают медленные ответы, фактическая полезность такой настройки может оказаться ниже ожидаемой. Это гипотеза для проверки продуктом, а не расчёт будущей выручки.
Не переносите выбранную точку на другую модель автоматически. Изменение контекста и формата весов требует повторного сопоставления.
Для наглядного обсуждения выберите две соседние ступени и покажите конкретные пользовательские сессии из каждой. Такая пара примеров объясняет компромисс владельцу оборудования лучше, чем один общий график с неуточнённым определением скорости.
Что получает владелец GPU
Результат обсуждения — понятная роль сервера и согласованные пределы нагрузки. Это помогает сохранить предсказуемость работы и аргументированно обсуждать расширение.
Дополнительно посмотрите непрерывное пакетирование, методику бенчмарка и планирование ёмкости пула.