# Сколько VRAM нужно модели 70B: расчёт весов и полный бюджет

Как посчитать начальную память модели 70B в 16, 8 и 4 битах и почему результат не является гарантией размещения LLM-сервиса на GPU.

Автор: Команда Retrivium
Обновлено: 2026-11-01
Канонический URL: https://retrivium.ai/ru/journal/llm-70b-vram-calculation/
Language: ru

Для модели с условными 70 миллиардами параметров грубая оценка весов составляет 140 миллиардов байт в 16 битах, 70 миллиардов в восьми и 35 миллиардов в четырёх. Это нижний арифметический ориентир, а не готовое требование к GPU: полный сервис использует дополнительные структуры и память запросов.

## Выпишите формулу и единицы

Формула для упрощённого случая: количество параметров умножить на число бит и разделить на восемь. Она предполагает одинаковое представление всех параметров и не учитывает особенности конкретного артефакта.

| Условный формат | Только веса в десятичных GB |
| --- | --- |
| 16 бит | 140 |
| 8 бит | 70 |
| 4 бита | 35 |

GB и GiB различаются. Сравнивая число с отчётом системы, проверьте единицу. Округлённое название 70B тоже не заменяет фактическое количество параметров из карточки модели.

## Уточните реальный формат

[Hugging Face описывает методы квантизации](https://huggingface.co/docs/transformers/quantization/overview), которые имеют разные реализации и требования. Четырёхбитное название не означает, что весь файл состоит только из четырёхбитных параметров без служебных данных.

Могут сохраняться масштабы, метаданные и тензоры в другом представлении. Поэтому сравните формулу с размером и составом выбранного артефакта, затем с измерением загрузки.

Если берётся сторонняя преобразованная сборка, зафиксируйте источник и исходную модель. Не называйте результат другого преобразования официальной характеристикой всего семейства.

## Добавьте состояние запросов

[Документация KV-кеша](https://huggingface.co/docs/transformers/kv_cache) помогает отделить хранение весов от состояния последовательностей. Длина входа, ответа и число сессий могут менять расход рабочего сервиса.

Именно поэтому удачная загрузка 70B не доказывает возможность максимального окна или нужной параллельности. Проверка короткого запроса отвечает на более узкий вопрос.

Системную RAM и память GPU считайте раздельно. Перенос части состояния на CPU требует поддержки и измерения задержек, а не простого сложения объёмов.

## Проверьте распределение по устройствам

Если одна карта не вмещает нужную конфигурацию, изучайте поддерживаемое разделение модели. Несколько GPU не образуют общий быстрый объём автоматически.

В паспорте запишите соединения, число устройств и реальный расход каждого. Общая свободная память может скрывать неравномерность или ограничения отдельных частей модели.

Сравните распределённый вариант с более компактной моделью, если задача допускает альтернативу. Критериями должны оставаться качество, удобная задержка и эксплуатационные расходы, а не обязательное число параметров.

Проверьте арифметику отдельно от вывода о покупке. Для условных 70 миллиардов параметров четыре бита дают 35 миллиардов байт только основной части весов. При переводе в двоичные единицы число изменится, но физический объём не увеличится. Следующим пунктом идут накладные данные квантования и рабочая память, поэтому близкое совпадение расчёта с наклейкой карты ещё не подтверждает подходящую конфигурацию сервера или полезный контекст.

## Что должно остаться в отчёте

Сохраните модель и ревизию, формат, память после загрузки, рабочий контекст и результаты потока. Отдельно укажите арифметическую оценку и измеренный итог, чтобы их не приняли за одно число.

Полезны также [48 ГБ для модели](/ru/journal/llm-models-48gb-vram/), [квантизация и качество](/ru/journal/quantization-quality/) и [план пилота](/ru/journal/pilot-checklist/). Формула помогает отсеять неверные ожидания, но решение о подключении требует реального теста.