В этом материале
Смешанное размещение может быть рабочим режимом, но его задержку нужно измерять отдельно от полного размещения на GPU.
Если Ollama показывает использование CPU и GPU, модель может быть размещена частично в оперативной памяти и частично на ускорителе. Это не обязательно ошибка. Однако RAM и VRAM остаются разными ресурсами, а перенос данных и вычисления на CPU влияют на задержку. Проверяйте фактический режим и пригодность результата для своей задачи.
Прочитайте состояние загруженной модели
После выполнения запроса используйте ollama ps и сохраните сведения о процессоре, контексте и удержании. Эти поля относятся к конкретной загруженной модели. Общая загрузка CPU в системном мониторинге не является прямой оценкой доли вычислений модели: процессор занимается также токенизацией и обслуживанием API.
Документация контекста Ollama показывает проверку размещения через список процессов. Официальный FAQ объясняет управление памятью и параллельностью. Сверяйте наблюдение с версией программы, поскольку формат вывода и стратегия размещения могут меняться.
Различайте ёмкость и скорость
Дополнительная RAM способна расширить варианты хранения и частичного размещения, если это поддерживает выбранный путь. Она не превращает CPU в GPU и не даёт такой же пропускной способности памяти. Поэтому арифметическое сложение RAM и VRAM не является характеристикой единого ускорителя.
Например, машина с большой оперативной памятью и небольшой картой может запустить более тяжёлый артефакт в смешанном режиме, но отвечать дольше. Это пример возможного размещения, а не обещание совместимости любой модели. Основные различия ресурсов разобраны в статье RAM и VRAM.
Найдите причину частичного размещения
Проверьте точный размер артефакта, контекст, параллельность и другие процессы на карте. Даже сравнительно небольшие веса не определяют весь расход. Увеличенный контекст может изменить размещение, хотя файл модели остался прежним.
Практический опыт: зафиксируйте модель и сравните два умеренных значения контекста. Затем сохраните контекст и выберите меньший поддерживаемый артефакт. Такой порядок помогает понять, какой фактор влияет на предел. Если GPU вообще не обнаружен, это отдельная задача из руководства диагностики Ollama.
Измерьте пригодность смешанного режима
Подготовьте несколько одинаковых по длине задач с проверяемым результатом. Запишите время до начала ответа, полное время, фактические токены и память. Отдельно измерьте первый запрос после загрузки и повторный. Задержка чтения весов не должна ошибочно считаться постоянной скоростью генерации.
Для пакетной работы ожидание может быть приемлемым; для интерактивного помощника тот же результат неудобен. Важно сформулировать критерий задачи заранее. Сравнение должно включать качество: меньшая модель полностью на GPU иногда удобнее большой смешанной, но это проверяют на содержательных примерах, а не только по названию.
Проверьте, остаётся ли система отзывчивой для остальных согласованных задач. Для общего рабочего места это самостоятельный критерий пригодности, который не отражается только временем генерации LLM.
Опишите доступный ресурс владельца
В предложении оборудования укажите CPU, RAM, GPU, VRAM и измеренный режим модели раздельно. Добавьте, остаётся ли машина рабочим местом пользователя. Смешанная нагрузка может затрагивать больше системных ресурсов и менять доступность привычных приложений владельца.
Финансовому партнёру полезно увидеть, что даст именно увеличение видеопамяти и какую задержку нужно улучшить. Это позволяет обсуждать пилот или дооснащение по реальному ограничению, сохраняя ясность между возможностью запуска и удобством обслуживания.