В этом материале
Начните с точной модели и короткого проверяемого профиля. Штатные 24 ГБ RTX 3090 не задают универсальный список подходящих LLM: нужны формат весов, память запросов и совместимый движок.
На RTX 3090 с её штатными 24 ГБ можно проверять разные локальные модели, но выбирать их только по числу параметров недостаточно. Правильный первый шаг — взять конкретный артефакт, ограничить запрос и измерить память после загрузки. Потом проверяются контекст, параллельность и полезность ответа.
Зафиксируйте исходную карту
NVIDIA указывает 24 ГБ памяти RTX 3090. Запишите также версию драйвера, CPU, RAM и используемые диски. Результат относится ко всей конфигурации.
Для карты, которая уже работала в другой задаче, добавьте проверку состояния и обычного температурного режима. Не начинайте подбор модели с разгона, переустановки всей рабочей машины или покупки комплектующих без найденного ограничения.
Если GPU используется другими приложениями, сохраните их присутствие. Доступная память в испытании важнее предположения, что весь паспортный объём свободен.
Выберите один понятный артефакт
Например, официальная карточка Qwen3-8B даёт конкретное имя и правила использования модели. Это кандидат для исследования, а не обещание размещения любого контекста на 3090.
Укажите ревизию, формат чисел и источник весов. Скачанный файл, преобразованная сборка и модель из приложения могут иметь разные настройки, даже если в разговоре называются одинаково.
Не путайте доступность весов с пригодностью лицензии и выбранного коммерческого сценария. Эти сведения нужно прочитать до запуска внешней нагрузки.
Начните с короткой проверки качества
Подготовьте небольшой набор задач: ответ по известному тексту, структура с заданными полями и инструкция без лишнего текста. Заранее запишите признаки правильного результата.
Запустите одну сессию с умеренным ограничением входа и ответа. Зафиксируйте время первого токена, завершение, ошибки и память. Не оценивайте модель только по красивой свободной формулировке.
Если выбранная модель содержит режим рассуждения, его настройки тоже входят в протокол. Длинная внутренняя или видимая генерация может менять профиль работы относительно короткого ответа.
Расширяйте один параметр за раз
Сначала увеличьте вход при неизменном ответе, затем отдельно проверьте более длинную генерацию. После этого добавьте совместные обращения. Такой порядок показывает, какой ресурс создаёт ограничение.
Сохраните исходную контрольную точку после изменений. Если она тоже стала хуже, проверьте фоновые процессы и условия машины до вывода о модели.
В отчёте не называйте весь объём 24 ГБ памятью весов. Кроме них нужны кеш запросов и служебные данные, а их расход зависит от стека.
После выбора первого рабочего артефакта создайте небольшой паспорт: идентификатор модели, формат весов, версия движка, выбранный контекст и три контрольных запроса. Повторите их после перезагрузки машины. Если результат зависит от ручной настройки в старой сессии, подготовка ещё не завершена. Сохранённый паспорт полезен при передаче карты оператору: он позволяет начать следующий эксперимент с воспроизводимого состояния, а не заново подбирать модель по одному названию RTX 3090.
Как использовать готовую конфигурацию
Владельцу достаточно показать, что именно проверено: артефакт, параметры, полезный результат и доступность машины. Не нужно обещать будущую выручку или сравнивать себя с дата-центром по одному числу.
Подготовиться помогут расчёт памяти 8B, технический пилот и проверка бывшего в эксплуатации GPU. Подбор роли оборудования начинается с измерений конкретной задачи.