В этом материале
У gpt-oss-120b активные параметры не равны объёму хранимых весов. Официальные примеры размещения относятся к конкретному формату и оборудованию; рабочий контекст проверяется отдельно.
Для gpt-oss-120b оценивайте полный артефакт MoE, а не только активные параметры на токен. Официальные примеры размещения относятся к поддерживаемому формату и оборудованию. Они не означают, что любая сумма памяти нескольких GPU даст тот же режим без настройки распределения.
Разделите два числа параметров
OpenAI указывает для gpt-oss-120b около 117 миллиардов общих и 5,1 миллиарда активных параметров. Второе число не следует использовать как замену первого при расчёте сохраняемых весов.
У MoE разные части участвуют в вычислениях согласно архитектуре, но это не делает весь артефакт моделью размером 5,1B. В техническом паспорте нужны оба понятия с пояснением назначения.
Не сравнивайте эту модель с dense-артефактом только по одному из чисел. Такой короткий рейтинг смешивает разные свойства.
Уточните формат исполнения
Руководство OpenAI по запуску рассматривает MXFP4 и конкретные программные условия. Оценку такого режима нельзя переносить на другое представление весов без проверки.
Сохраните ревизию, драйвер, библиотеки и способ загрузки. Если runtime выполняет дополнительное преобразование, это должно быть известно, а не скрыто за названием модели.
Память после старта измеряйте отдельно от объёма файлов и от расхода активного запроса. Эти числа отвечают на разные вопросы.
Проверьте одно и несколько устройств
Официальный пример на большой карте и собственный набор меньших GPU — разные конфигурации. У распределённого запуска нужно проверить поддержку модели, связи и фактическое размещение частей.
| Вариант | Главный дополнительный вопрос |
|---|---|
| Одна подходящая карта | Полный расход runtime и запросов |
| Несколько GPU одного узла | Поддерживаемый способ разделения |
| GPU разных площадок | Пригодность сети и стека |
| Другой формат весов | Совместимость и повторная оценка качества |
Таблица не обещает доступность каждого варианта. Она показывает, какие вопросы остаются до технического решения.
Измерьте ограниченный рабочий сценарий
Начните с короткой сессии и известного правильного ответа. Зафиксируйте reasoning-режим, формат результата и ограничение генерации. Затем увеличьте вход отдельно от параллельности.
Проверьте качество и корректное завершение. Не засчитывайте просто отсутствие ошибки загрузки как успешный сервисный пилот: пользователь должен получить пригодный итог.
Добавьте штатный перезапуск и время возвращения модели к готовности. Для крупного артефакта это отдельная эксплуатационная характеристика.
Для большого MoE-артефакта дополнительно проверьте время подготовки файлов и доступное хранилище. Длительная загрузка не является прямой характеристикой скорости генерации, но влияет на восстановление сервера. Сохраните путь кеша, полный размер скачанных компонентов и этапы старта. При нескольких устройствах отметьте распределение отдельно для каждого. Такой отчёт показывает, какая часть подготовки уже подтверждена и что ещё нужно проверить до обсуждения постоянного размещения модели.
Проверенный профиль работы
Владельцу полезно передать полную конфигурацию, а не обещание запуска 120b по суммарной VRAM. Подбор роли может включать другую модель, если она решает ту же задачу в подходящих условиях.
Для продолжения пригодятся 70B и арифметика весов, несколько GPU и порядок пилота. Мы оцениваем конкретный режим работы и не обещаем доход или загрузку по размеру модели.