В этом материале
Для 12 ГБ выбирайте артефакт вместе с форматом и контекстом. Даже nominal 7B в BF16 означает около 14 млрд байт только весов, поэтому требуется отдельная проверка размещения.
На 12 ГБ VRAM нельзя выбирать coding-модель только по надписи 7B. Грубая оценка семи миллиардов параметров в 16 бит даёт около 14 миллиардов байт весов, ещё без кеша и буферов. Нужно смотреть точный артефакт и поддерживаемый формат, затем проверять полезное качество кода.
Возьмите конкретную исходную модель
Qwen2.5-Coder-7B-Instruct — пример официальной модели для чтения карточки и подготовки теста. Её имя не означает, что любой способ загрузки подходит одной карте на 12 ГБ.
Сохраните число параметров из карточки, ревизию и рекомендуемую среду. Оценка по округлённому 7B — только предварительная арифметика. Истинный состав тензоров и рабочие структуры нужно проверять выбранным движком.
Если другая более компактная модель лучше решает вашу задачу, это полноценный вариант сравнения. Цель — корректный результат, а не обязательное использование самого большого кандидата.
Согласуйте формат чисел
Документация vLLM по квантизации описывает поддержку методов и оборудования. Флаг запуска сам по себе не превращает произвольные веса в любую желаемую сборку.
Для грубого ориентира семь миллиардов параметров при четырёх битах дают около 3,5 миллиарда байт. Метаданные, масштабы, отдельные тензоры и runtime не входят в эту упрощённую формулу.
Поэтому не оставляйте контекст неограниченным после успешной загрузки. Свободная память должна обеспечивать ещё и сам процесс обслуживания.
Испытайте три вида изменения кода
Подготовьте исправление ошибки в одной функции, небольшое расширение интерфейса и ответ в формате патча. Сохраните тесты и запрет на изменение посторонних частей примера.
Проверяйте, существует ли указанный API, проходят ли тесты и соответствует ли вывод договорённому формату. Такие признаки полезнее общего впечатления о «умной» модели.
Если нужно сравнить две квантизации, используйте одни и те же задачи. Случайно более лёгкий набор на меньшем формате не доказывает сохранения качества после преобразования.
Проверьте реальный рабочий контекст
Начните с короткого файла. Потом добавьте зависимую функцию и требования к изменению. На каждой ступени сохраняйте входные токены, память и время первого ответа.
Не путайте окно модели с памятью конкретного сервера. Теоретически допустимый большой вход может оказаться неподходящим для этой конфигурации и выбранной параллельности.
Отдельно добавьте вторую сессию только после устойчивой одиночной работы. Ошибка, возникающая совместно, требует другой диагностики, чем невозможность загрузить веса.
Отдельно проверьте сохранение интерфейса функции: имя, аргументы, возвращаемый тип и обработку граничного случая. Небольшая модель может написать правдоподобное решение, которое незаметно меняет контракт. Сравните два подходящих артефакта на одной выборке и сохраните долю пройденных именно ваших проверок без переноса на внешние рейтинги. Такой опыт связывает память карты с качеством конкретной работы и помогает выбрать разумный объём следующего пилота.
Практические выводы
Владелец может передать описание GPU, доступную память и результаты узкого coding-теста. Это позволяет обсуждать роль существующей карты без обещания универсального ассистента для целого репозитория.
Для следующего шага пригодятся 8 ГБ для небольшого coding-пилота, длинный контекст и квантизация с проверкой качества. Возможность подключения определяется по конкретному сценарию, а не по минимальному объёму памяти в чужом руководстве.