В этом материале
Для условных 70 млрд параметров веса занимают около 140 GB при 16 битах, 70 GB при 8 и 35 GB при 4. Кеш, метаданные и runtime считаются дополнительно.
Для модели с условными 70 миллиардами параметров грубая оценка весов составляет 140 миллиардов байт в 16 битах, 70 миллиардов в восьми и 35 миллиардов в четырёх. Это нижний арифметический ориентир, а не готовое требование к GPU: полный сервис использует дополнительные структуры и память запросов.
Выпишите формулу и единицы
Формула для упрощённого случая: количество параметров умножить на число бит и разделить на восемь. Она предполагает одинаковое представление всех параметров и не учитывает особенности конкретного артефакта.
| Условный формат | Только веса в десятичных GB |
|---|---|
| 16 бит | 140 |
| 8 бит | 70 |
| 4 бита | 35 |
GB и GiB различаются. Сравнивая число с отчётом системы, проверьте единицу. Округлённое название 70B тоже не заменяет фактическое количество параметров из карточки модели.
Уточните реальный формат
Hugging Face описывает методы квантизации, которые имеют разные реализации и требования. Четырёхбитное название не означает, что весь файл состоит только из четырёхбитных параметров без служебных данных.
Могут сохраняться масштабы, метаданные и тензоры в другом представлении. Поэтому сравните формулу с размером и составом выбранного артефакта, затем с измерением загрузки.
Если берётся сторонняя преобразованная сборка, зафиксируйте источник и исходную модель. Не называйте результат другого преобразования официальной характеристикой всего семейства.
Добавьте состояние запросов
Документация KV-кеша помогает отделить хранение весов от состояния последовательностей. Длина входа, ответа и число сессий могут менять расход рабочего сервиса.
Именно поэтому удачная загрузка 70B не доказывает возможность максимального окна или нужной параллельности. Проверка короткого запроса отвечает на более узкий вопрос.
Системную RAM и память GPU считайте раздельно. Перенос части состояния на CPU требует поддержки и измерения задержек, а не простого сложения объёмов.
Проверьте распределение по устройствам
Если одна карта не вмещает нужную конфигурацию, изучайте поддерживаемое разделение модели. Несколько GPU не образуют общий быстрый объём автоматически.
В паспорте запишите соединения, число устройств и реальный расход каждого. Общая свободная память может скрывать неравномерность или ограничения отдельных частей модели.
Сравните распределённый вариант с более компактной моделью, если задача допускает альтернативу. Критериями должны оставаться качество, удобная задержка и эксплуатационные расходы, а не обязательное число параметров.
Проверьте арифметику отдельно от вывода о покупке. Для условных 70 миллиардов параметров четыре бита дают 35 миллиардов байт только основной части весов. При переводе в двоичные единицы число изменится, но физический объём не увеличится. Следующим пунктом идут накладные данные квантования и рабочая память, поэтому близкое совпадение расчёта с наклейкой карты ещё не подтверждает подходящую конфигурацию сервера или полезный контекст.
Что должно остаться в отчёте
Сохраните модель и ревизию, формат, память после загрузки, рабочий контекст и результаты потока. Отдельно укажите арифметическую оценку и измеренный итог, чтобы их не приняли за одно число.
Полезны также 48 ГБ для модели, квантизация и качество и план пилота. Формула помогает отсеять неверные ожидания, но решение о подключении требует реального теста.