В этом материале
У RTX 5090 нет одной скорости LLM. Нужны модель, формат, контекст, число запросов и определение метрики; только после этого можно сравнивать опубликованные и собственные результаты.
Назвать единственное число токенов в секунду для RTX 5090 нельзя: скорость относится к конкретной модели, формату и нагрузке. Одна сессия и суммарный поток нескольких пользователей измеряют разные вещи. Прежде чем покупать карту или предлагать её пулу, нужно восстановить условия интересующего результата.
Что говорит спецификация карты
Официальная RTX 5090 имеет 32 ГБ GDDR7 и архитектуру Blackwell. Эти характеристики описывают устройство, но не заменяют измерение выбранной языковой модели.
Паспортные операции разных числовых форматов, игровые кадры и генерация токенов не взаимозаменяемы. Переводить один показатель в другой постоянным коэффициентом нельзя без приложения и протокола.
Уточните также конкретное изделие и серверную сборку. Даже одна модель карты может работать в разных условиях питания, охлаждения и фоновой нагрузки.
Узнайте, что именно посчитано
Команда vLLM bench serve предоставляет разные настройки испытания сервера. Поэтому фраза «тест vLLM» не раскрывает профиль автоматически.
| Показатель | Что нужно уточнить |
|---|---|
| Скорость одной сессии | Включено ли ожидание первого токена |
| Совокупная выдача | Сколько запросов одновременно |
| Время ответа | Длины входа и результата |
| Успешность | Включены ли отказы и отмены |
Если публикация не отвечает на эти вопросы, используйте её как повод повторить тест, а не как обещание будущей производительности.
Подготовьте свой небольшой набор
Возьмите одну доступную и совместимую модель, зафиксируйте веса и ревизию. Составьте короткие и длинные входы с известными проверками качества.
Сначала выполните один запрос, потом несколько одновременно. Размер ответа держите ограниченным и одинаковым там, где сравниваются настройки. Отдельно сохраняйте число входных и выходных токенов.
Если используются повторяющиеся системные инструкции, отметьте наличие общего префикса. Прогретый кеш может менять результат относительно независимых документов. Смешивать эти режимы без подписи значит скрывать условие измерения.
Повторите устойчивый режим
После первых запусков сохраните длительный интервал обычной работы. Следите за температурой, памятью и ошибками, не меняя аппаратные защиты ради рекорда.
Отдельно измерьте возвращение после перезапуска. Быстрый ответ прогретой модели не описывает время восстановления сервиса, особенно если веса приходится получать заново.
Для сопоставления расходов измеряйте всю машину и понятный объём полезно завершённой работы. Случайное лучшее значение одной сессии нельзя умножать на месяц как прогноз продаж.
В отчёте о скорости подпишите, посчитаны ли выходные токены одного запроса или суммарный выход всего потока. Добавьте фактическую длину ответа и число успешных обращений. Если часть задач завершилась ошибкой, общий показатель без этой информации вводит в заблуждение. Для интерактивного режима отдельно укажите ожидание первого содержательного фрагмента: высокая суммарная генерация нескольких сессий сама по себе не обещает быстрый ответ отдельному человеку.
Как сформулировать вывод
Корректный итог звучит ограниченно: такая конфигурация показала такой результат на описанном потоке. Он не утверждает превосходства во всех задачах и не обещает доходность владельцу.
Для проверки пригодятся сравнение с RTX 4090, методика бенчмарка и скорость против задержки. Ценность карты для пула определяет полезный проверяемый режим.