В этом материале
32 GB расширяют бюджет памяти одной карты, но совместимость движка и освобождение ресурсов между заданиями проверяются отдельно.
Что представляет собой настольная RTX 5090
RTX 5090 относится к Blackwell и отличается от RTX 4090 прежде всего рассматриваемой здесь ёмкостью: 32 GB вместо 24 GB. Это память одного GPU, которую делят веса, рабочие структуры и данные задачи. Паспортные 575 W характеризуют эталонную плату; это не измеренное потребление запроса и не достаточная мощность всего сервера. Конкретная партнёрская карта может иметь другую конструкцию. Профиль предназначен для оценки оборудования под две очереди работ, а не для переноса игровых коэффициентов ускорения в токены или секунды рендеринга.
| Официальный вариант | Память на GPU | Тип памяти | Мощность платы | Источник |
|---|---|---|---|---|
| NVIDIA GeForce RTX 5090 — 32 GB эталонный дизайн/Founders | 32 GB | GDDR7 | 575 W | Спецификация |
Путь LLM начинается с программного стека
NVIDIA указывает CC 12.0 для этой модели. Требование vLLM CC не ниже 7.5 является только аппаратным порогом: нужны подходящие сборки, модель, dtype и реально выбранные kernels. Для первого опыта фиксируют revision весов, tokenizer, длину контекста и максимальную конкурентность. Затем измеряют память после загрузки и на выбранных запросах. Если веса загрузились, но длинный prompt вызывает отказ, исследуют KV cache и временные структуры. Сам факт наличия 32 GB не устанавливает поддержку конкретной большой модели или желаемого числа одновременных клиентов.
Рендеринг проверяется собственной сценой
Cycles поддерживает CUDA и OptiX при описанных условиях; RTX аппаратное ускорение трассировки используется соответствующим backend. Для серверной задачи выбирают сцену с известными текстурами, геометрией и настройками, сохраняют её хеш и результат batch-рендера. Проверяют, что выбран именно GPU, а не незаметный CPU fallback. Большая сцена может упереться в память независимо от простого LLM-примера. Успешный тест Cycles не подтверждает совместимость любого другого renderer. Сравнение карт имеет смысл только с одинаковой сценой, версией и качеством результата, без выдуманной универсальной скорости одного кадра.
Разделить очереди на одном сервере
Полезный сценарий RTX 5090 — переключение одной карты между inference и подготовленными render jobs. Контроллер допускает следующую задачу после завершения предыдущего владельца GPU и подтверждённого освобождения ресурсов. Прекращённый HTTP процесс сам по себе не доказывает выгрузку весов из отдельного engine process. Сохраняют PID, идентификатор GPU, baseline VRAM и события запуска. Одновременное размещение двух сервисов исследуют отдельно: даже если каждый помещается поодиночке, суммарные буферы могут изменить результат. Корпусные размеры, разъёмы питания и охлаждение сверяют с фактической платой и сервером.
Артефакт решения о переключении
Ограниченная последовательность состоит из загрузки LLM, короткой генерации, штатной выгрузки, рендера сцены и повторной загрузки LLM. Для каждого этапа записывают статус, пиковую память, наблюдаемую мощность и время готовности, не назначая заранее успешные значения. Если второй запуск отличается от первого, проверяют остаточные процессы, кеши и прогрев. Итоговая карточка содержит точные версии, файлы задач и причину выбранного режима очередей. Она подтверждает исследованное переключение, но не обещает непрерывную доступность inference во время render jobs или автоматическую пригодность карты для внешней платформы.
RTX 4090 или RTX 5090 для LLM: 24 и 32 ГБ под одну задачу · RTX 5090: почему нельзя назвать одну скорость LLM в токенах · Каталог GPU