В этом материале
Полная DeepSeek-R1 и Distill-модели имеют разные требования. Сначала укажите полное имя и состав весов; результат небольшой Distill нельзя выдавать за размещение исходной MoE-модели.
DeepSeek-R1 и DeepSeek-R1-Distill — не один артефакт с разным названием. Для требований к GPU нужно выбрать конкретную модель, архитектуру и числовой формат. Успешный запуск небольшого Distill не означает, что на том же устройстве работает полная R1.
Прочитайте полное имя
Карточка DeepSeek-R1 и DeepSeek-R1-Distill-Qwen-7B относятся к разным моделям. Сохраните имя репозитория и ревизию в заявке и отчёте.
| Вопрос | Полная R1 | Конкретная Distill |
|---|---|---|
| Что проверять | Полный состав MoE | Указанную базовую архитектуру |
| Память весов | По всему артефакту | По выбранному размеру и формату |
| Сравнение качества | На своём наборе | На том же наборе отдельно |
| Неверный вывод | Считать её маленьким Distill | Назвать результат полной R1 |
Не назначайте память по популярному имени семейства. Одно приложение может предлагать несколько разных вариантов под короткой подписью.
Отделите активность от хранения
Для MoE активные параметры на токен не определяют размер всего сохраняемого набора. Если часть весов не участвует в отдельном шаге, она не исчезает автоматически из артефакта.
У Distill также проверяйте точное число и формат. Округлённая надпись 7B полезна как ориентир, но полный runtime использует больше, чем упрощённая формула параметров.
Память CPU и GPU нельзя объединить без поддерживаемой схемы. Если инструкция использует перенос на хост, результат должен называться смешанным исполнением.
Выберите проверяемую задачу
Для рассуждающей модели подготовьте вопросы с известным итогом, а не только открытые обсуждения. Запишите ограничения длины генерации и способ извлечения ответа.
Проверьте короткую задачу, многошаговое решение и структуру с обязательными полями. Более длинное рассуждение не является автоматическим доказательством правильности.
Сохраняйте режимы и шаблоны из конкретной карточки. Если клиент скрывает часть вывода, это нужно учитывать в определении времени и количества токенов.
Проверьте одиночный режим до потока
Начните с одного артефакта и одной сессии. Зафиксируйте память после загрузки, затем во время обработки. Если ошибка происходит раньше первого запроса, диагностируйте этот этап отдельно.
После устойчивой работы увеличьте вход и ответ раздельно. Сравнение двух моделей должно сохранять одинаковые требования к качеству, иначе меньший расход может относиться к другой задаче.
Добавьте штатный перезапуск и возврат GPU своим приложениям. Для владельца это часть пригодности конфигурации, а не второстепенная подробность.
Для Distill-варианта подберите задачу с проверяемым финальным ответом и ограничьте выход. Сохраните случаи, где рассуждение выглядит убедительно, но итог неверен. Для владельца важен полезный результат в допустимом ресурсе, поэтому размер модели нельзя использовать вместо проверки. При сравнении двух вариантов укажите одинаковый формат заданий и фактические токены: различная длительность рассуждения меняет и задержку, и расход контекста.
Практические выводы
В сообщении оператору укажите точное имя DeepSeek, формат и имеющиеся устройства. Если известна только карта, можно начать и без готовой модели — подбор обсуждается после оценки.
Подготовиться помогут арифметика 70B, MoE на примере Coder и пилот. Точный паспорт помогает найти полезное применение оборудования и избежать ложного сравнения разных моделей.