В этом материале
Проверяйте поддержку, видимость и фактическое размещение отдельно: доступная системе карта не обязательно исполняет модель.
Если Ollama не использует GPU, проверьте пять отдельных причин: поддержку конкретной карты, совместимость драйвера, видимость устройства процессу, выбор ускорителя и возможность разместить модель. Ответ через CPU не означает, что программа сломалась. Важно выяснить, почему выбран именно такой режим и соответствует ли он вашей задаче.
Сопоставьте карту с поддерживаемой платформой
Начните с точного названия и ОС. Семейство производителя недостаточно: поддержка зависит от поколения и вычислительного backend. Официальная страница аппаратной поддержки Ollama содержит отдельные разделы и условия. Не переносите требование одной платформы на другую.
Запишите версию Ollama и драйвера. После обновления повторите проверку, но сначала сохраните исходный журнал: иначе исчезнет возможность сравнить причину. Для старой карты иногда ограничением становится поддержка вычислительной архитектуры, а не количество доступной VRAM. Дополнительная оперативная память такое ограничение не исправляет.
Проверьте видимость устройства серверу
Клиентская команда может обращаться к уже запущенной службе, которая получила другой набор переменных окружения. Изменение настройки в новом терминале не обязательно меняет работающий процесс. Убедитесь, какой сервер отвечает на локальном порту и из какой среды он запущен.
На NVIDIA сопоставьте карту с nvidia-smi, для других платформ используйте соответствующую системную диагностику. Если Ollama запущена в контейнере, доступ GPU должен быть подтверждён внутри него. Проверка только хоста не доказывает, что нужное устройство проброшено к приложению.
Посмотрите фактическое размещение модели
После загрузки выполните ollama ps. Сведения о CPU/GPU нужно читать вместе с контекстом и используемой моделью. На машине может быть видна активность GPU другого приложения, поэтому одного общего графика диспетчера задач недостаточно.
Практический опыт: сравните небольшую контрольную модель и целевой артефакт при одинаковом явно заданном контексте. Если первая использует GPU, а вторая размещается смешанно, исследуйте память и конфигурацию. Подробная трактовка есть в статье о CPU/GPU-размещении.
Проверьте память и выбранный ускоритель
Закройте только собственные ненужные процессы или согласуйте освобождение карты. Модель может не помещаться полностью из-за весов, контекста и параллельности. Список GPU также может быть ограничен настройкой окружения. Не снимайте ограничения вслепую: они иногда специально выделяют устройство другой работе.
Для нескольких карт сохраняйте UUID и выбранный backend. Важно отличить отсутствие поддержки от выбора не той карты. После изменения параметров перезапустите сервер предусмотренным для ОС способом и подтвердите, что новый процесс действительно получил настройки, а клиент не обращается к оставшейся старой службе.
Для диагностики выберите один момент наблюдения: после полной загрузки и во время известного запроса. Снимки в случайные моменты могут относиться к разным состояниям и скрывать фактический режим исполнения.
Используйте журнал как доказательство
Официальное руководство troubleshooting показывает расположение журналов для разных способов запуска. Найдите строки обнаружения оборудования, загрузки backend и размещения модели. Они полезнее предположения по шуму вентиляторов. Перед передачей удалите из них приватные пути и содержимое запросов.
Владельцу такой разбор помогает определить подходящую модель и доступный режим. Финансовому партнёру — отличить необходимость нового GPU от настройки существующего. Для следующего этапа пригодится пилотный чек-лист.