В этом материале
Qwen3-Coder — семейство, а не одно требование к памяти. У MoE-кандидата хранение определяется полным набором весов, а активные параметры не заменяют его при оценке VRAM.
Для Qwen3-Coder сначала нужно назвать конкретную модель. Требование к памяти нельзя вывести из слова Coder или числа активных параметров смеси экспертов. Выбор формата, контекста и движка остаётся частью конфигурации, а полезность определяется проверкой кода на вашей задаче.
Начните с полного имени
Qwen3-Coder-30B-A3B-Instruct — конкретный официальный кандидат. Его нельзя смешивать с другими размерами или ревизиями семейства, сравнивая память по общему названию.
Сохраните карточку, лицензию и источник весов. Если берётся производная квантизированная сборка, укажите её отдельно и проверьте связь с исходным артефактом.
Поддерживаемые архитектуры vLLM определяются версией движка. Наличие похожей модели в списке не подтверждает совместимость любого преобразования.
Разделите полные и активные параметры
В MoE обрабатываемая часть параметров на токен и полный сохраняемый набор — разные величины. Активное число может помогать объяснению вычислений, но не означает, что остальные веса перестали занимать ресурс.
| Запись в паспорте | Для чего нужна |
|---|---|
| Общие параметры | Оценка сохраняемого набора |
| Активные параметры | Характеристика маршрута вычислений |
| Формат артефакта | Реальная организация чисел |
| Рабочий контекст | Память и нагрузка запросов |
Не рассчитывайте VRAM только по обозначению A3B. Сначала прочитайте полный состав конкретной модели.
Подготовьте узкий coding-набор
Выберите небольшой репозиторий без секретов. Опишите исправление ошибки, добавление чистой функции и требуемый формат изменения. У задач должны быть тесты и ожидаемый результат.
Измеряйте не только генерацию, но и пригодность патча. Неверный вызов библиотеки или изменение постороннего файла должно отмечаться как ошибка качества.
Если модель используется через агентный инструмент, отделите поведение клиента от самого endpoint. Сбой применения патча не всегда означает неправильный текст модели, и наоборот.
Проверьте память на рабочем входе
Короткая инструкция и контекст нескольких файлов создают разный профиль. Начните с ограниченной задачи, затем добавляйте связанные файлы по ступеням.
Сохраняйте токенизацию, разрешённый ответ, время и память. Если меняется формат весов, повторите одинаковые задачи качества, а не ограничивайтесь успешным стартом.
При нескольких GPU запишите способ распределения и расход каждого устройства. Суммарная VRAM не является автоматическим эквивалентом одной карты с такой памятью.
Для coding-пилота подготовьте задачу с ограниченным набором файлов, инструкцией и локальной проверкой. Например, изменение одной функции должно сохранить совместимость соседнего вызова и пройти существующий тест. Сохраните полный вход, фактические токены и результат выполнения. Не делайте вывод по одному красивому фрагменту кода. Повторите несколько независимых изменений и отдельно отметьте ситуации, где модели не хватило рабочего контекста, даже если веса успешно загрузились на доступный ускоритель.
Как выбрать следующую проверку
Если конкретный Coder-вариант слишком требователен, сравните меньший кандидат на том же наборе. Это помогает найти полезную роль существующему GPU вместо закупки по общему имени популярного семейства.
Подготовиться помогут coding-LLM на 12 ГБ, MoE и большой артефакт и multi-GPU. Возможность подключения зависит от проверенного сценария; список моделей не является гарантией спроса или загрузки оборудования.