# LLM для кода на 12 ГБ VRAM: модель, контекст и запас

Выбор coding-LLM на 12 ГБ VRAM: как проверить конкретную 7B-модель, формат весов, рабочий файл и корректность патча при ограниченной памяти.

Автор: Команда Retrivium
Обновлено: 2026-11-01
Канонический URL: https://retrivium.ai/ru/journal/coding-llm-12gb-vram/
Language: ru

На 12 ГБ VRAM нельзя выбирать coding-модель только по надписи 7B. Грубая оценка семи миллиардов параметров в 16 бит даёт около 14 миллиардов байт весов, ещё без кеша и буферов. Нужно смотреть точный артефакт и поддерживаемый формат, затем проверять полезное качество кода.

## Возьмите конкретную исходную модель

[Qwen2.5-Coder-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-Coder-7B-Instruct) — пример официальной модели для чтения карточки и подготовки теста. Её имя не означает, что любой способ загрузки подходит одной карте на 12 ГБ.

Сохраните число параметров из карточки, ревизию и рекомендуемую среду. Оценка по округлённому 7B — только предварительная арифметика. Истинный состав тензоров и рабочие структуры нужно проверять выбранным движком.

Если другая более компактная модель лучше решает вашу задачу, это полноценный вариант сравнения. Цель — корректный результат, а не обязательное использование самого большого кандидата.

## Согласуйте формат чисел

[Документация vLLM по квантизации](https://docs.vllm.ai/en/stable/features/quantization/) описывает поддержку методов и оборудования. Флаг запуска сам по себе не превращает произвольные веса в любую желаемую сборку.

Для грубого ориентира семь миллиардов параметров при четырёх битах дают около 3,5 миллиарда байт. Метаданные, масштабы, отдельные тензоры и runtime не входят в эту упрощённую формулу.

Поэтому не оставляйте контекст неограниченным после успешной загрузки. Свободная память должна обеспечивать ещё и сам процесс обслуживания.

## Испытайте три вида изменения кода

Подготовьте исправление ошибки в одной функции, небольшое расширение интерфейса и ответ в формате патча. Сохраните тесты и запрет на изменение посторонних частей примера.

Проверяйте, существует ли указанный API, проходят ли тесты и соответствует ли вывод договорённому формату. Такие признаки полезнее общего впечатления о «умной» модели.

Если нужно сравнить две квантизации, используйте одни и те же задачи. Случайно более лёгкий набор на меньшем формате не доказывает сохранения качества после преобразования.

## Проверьте реальный рабочий контекст

Начните с короткого файла. Потом добавьте зависимую функцию и требования к изменению. На каждой ступени сохраняйте входные токены, память и время первого ответа.

Не путайте окно модели с памятью конкретного сервера. Теоретически допустимый большой вход может оказаться неподходящим для этой конфигурации и выбранной параллельности.

Отдельно добавьте вторую сессию только после устойчивой одиночной работы. Ошибка, возникающая совместно, требует другой диагностики, чем невозможность загрузить веса.

Отдельно проверьте сохранение интерфейса функции: имя, аргументы, возвращаемый тип и обработку граничного случая. Небольшая модель может написать правдоподобное решение, которое незаметно меняет контракт. Сравните два подходящих артефакта на одной выборке и сохраните долю пройденных именно ваших проверок без переноса на внешние рейтинги. Такой опыт связывает память карты с качеством конкретной работы и помогает выбрать разумный объём следующего пилота.

## Практические выводы

Владелец может передать описание GPU, доступную память и результаты узкого coding-теста. Это позволяет обсуждать роль существующей карты без обещания универсального ассистента для целого репозитория.

Для следующего шага пригодятся [8 ГБ для небольшого coding-пилота](/ru/journal/coding-llm-8gb-vram/), [длинный контекст](/ru/journal/long-context-capacity/) и [квантизация с проверкой качества](/ru/journal/quantization-quality/). Возможность подключения определяется по конкретному сценарию, а не по минимальному объёму памяти в чужом руководстве.