В этом материале
32B в 16 битах — около 64 GB весов, в условных 4 битах — 16 GB до накладных данных. Возможность работы на 24 ГБ определяется конкретным форматом и полным режимом.
У модели с условными 32 миллиардами параметров 16-битные веса занимают около 64 миллиардов байт. В идеализированном четырёхбитном представлении получится 16 миллиардов байт, но это не означает, что любая 32B-модель готова к сервису на 24 ГБ VRAM. Формат и дополнительная память проверяются отдельно.
Уточните модель и артефакт
Карточка Qwen3-32B описывает конкретную исходную модель. Квантизированная производная — отдельный файл или набор с собственными требованиями.
Запишите ревизию, источник, формат и используемый движок. Размер на диске помогает инвентаризации, но не заменяет измерение памяти после загрузки и подготовки runtime.
Если в инструкции встречается другое число параметров или смесь экспертов, сначала исправьте предмет сравнения. Нельзя переносить расчёт dense 32B на иной полный состав только из-за похожего названия.
Рассчитайте ориентир явно
| Условная точность | Только 32 млрд параметров |
|---|---|
| 16 бит | 64 GB |
| 8 бит | 32 GB |
| 4 бита | 16 GB |
Это десятичные GB без метаданных и рабочих структур. Не путайте их с GiB в конкретном отчёте. В реальном преобразовании часть тензоров может храниться иначе.
Таблица полезна для отсеивания явно неверных ожиданий, но не для назначения максимального контекста. Следующий шаг — поддерживаемая сборка и реальный короткий тест.
Проверьте совместимость квантизации
vLLM перечисляет поддерживаемые методы и ограничения устройств. Четырёхбитный артефакт не является универсальным форматом для всех движков и GPU.
Устанавливайте согласованную версию окружения и сохраняйте параметры. Ошибка неподдерживаемого формата отличается от CUDA OOM и требует другого решения.
Не меняйте сразу драйвер, движок и модель, пытаясь получить один успешный ответ. Иначе положительный результат останется невоспроизводимым.
Измерьте запас для запросов
Запустите одну сессию с ограниченным входом и ответом. Зафиксируйте расход после загрузки и во время генерации, затем постепенно увеличьте контекст.
Проверьте короткую и длинную задачу с известным правильным результатом. Если памяти хватает только при непригодном ограничении, такой режим не отвечает цели пользователя.
Добавление второй сессии рассматривайте отдельной ступенью. Число параметров весов не меняется, но состояние запросов и планирование способны изменить рабочий расход.
Отдельно проверьте, не зависит ли запуск от частичного переноса на CPU. Если зависит, запишите объём RAM и задержку вместе с VRAM, не описывая результат как полное размещение на карте. Для приложения с редкими заданиями это может быть приемлемо; для потока коротких обращений критерии иные. Две карточки режима — полностью GPU и смешанная, когда они доступны, — помогают обосновать следующий шаг без обещания одинаковой скорости.
Выберите роль существующей карты
Крупная модель с небольшим контекстом и меньшая модель с запасом решают разные задачи. Сравните качество, задержки и число пригодных завершений, а не желание заполнить всю VRAM.
Владелец 24-гигабайтного GPU может предложить конфигурацию для узкого профиля без обещания любой 32B. Если требуется другая карта, сначала нужно назвать измеренное ограничение.
Подготовиться помогут локальная LLM на 24 ГБ, KV-кеш и CUDA OOM при загрузке. Условия подключения определяются после оценки фактической работы, а не только предварительной арифметики.