В этом материале
Контекст Ollama нужно задавать и проверять для конкретной модели, учитывая общий бюджет и число параллельных запросов.
В Ollama длину контекста следует настраивать по задаче и доступной памяти, а затем проверять фактически. Не полагайтесь на универсальное значение по умолчанию: поведение зависит от версии и аппаратного режима. Общий бюджет включает сообщения, историю и ответ, а увеличение контекста влияет на ресурс размещения модели.
Определите полезную длину
Соберите типичные входы: короткий вопрос, рабочий документ и длинный диалог. Посчитайте токены с учётом шаблона модели. Размер файла в байтах и количество страниц не дают точной оценки. Зарезервируйте место для ответа отдельно от максимального входа.
Документация context length описывает актуальное поведение Ollama. Если разные страницы или старые инструкции называют разные значения по умолчанию, для воспроизводимого опыта используйте явный параметр и проверяйте установленную версию. Так результат не зависит от предположения о настройках другого компьютера.
Задайте параметр в понятном месте
Для создаваемой модели можно использовать Modelfile. Учебный фрагмент для уже доступного исходного артефакта:
FROM qwen3:8b
PARAMETER num_ctx 8192Название исходной модели должно соответствовать реально установленному тегу. Файл сам по себе не подтверждает, что такой контекст поместится на вашей карте. Синтаксис параметров описан в документации Modelfile, а альтернативы серверной настройки — в FAQ.
Если приложение задаёт параметры в запросе, запишите и их. Иначе можно долго менять серверную настройку, пока клиент продолжает отправлять собственное значение. Для проверки нужен фактический запрос, очищенный от приватного содержимого, а не только скриншот панели настроек.
Проверьте память после изменения
Сначала загрузите модель и выполните короткий запрос с выбранным контекстом. Посмотрите размещение через ollama ps, затем увеличьте вход до рабочего размера. Сравните пиковую память, время начала ответа и ошибки. Не меняйте одновременно модель, квантование и контекст.
Если большая настройка приводит к переходу на смешанное CPU/GPU-размещение, это существенная часть результата. Прохождение запроса ещё не доказывает приемлемую задержку. Разницу ресурсов объясняет статья RAM и VRAM, а диагностику размещения — руководство CPU/GPU.
Учитывайте несколько обращений
Параллельные запросы требуют дополнительного ресурса. Конфигурация, которая хорошо работает с одним длинным документом, может оказаться неудобной для нескольких пользователей. Поэтому после одиночного теста повторите типичную нагрузку с реальным числом одновременно выполняемых обращений.
Практическая таблица содержит три строки: небольшой контекст, выбранный рабочий предел и следующий больший уровень. Для каждой укажите размещение, фактический вход и выход, задержку и ошибки. Значение, которое выглядит большим в настройке, бесполезно, если приложение не принимает соответствующий документ либо отвечает слишком долго.
После настройки сохраните отдельную копию рабочего Modelfile. Это позволяет повторить опыт и увидеть, не изменились ли одновременно системное сообщение, шаблон или другие параметры создаваемой модели.
Практические выводы
Владельцу GPU полезно назвать проверенный рабочий контекст, а не только максимальную характеристику карточки модели. Партнёру по финансированию это показывает, зачем нужна дополнительная VRAM: больше документов в одной сессии, несколько пользователей или другой артефакт.
Дальнейший пилот можно построить вокруг полезной длины и приемлемого ожидания, сохраняя явную связь между настройкой, доступной памятью и реальными запросами.