# llama.cpp server: локальный API из GGUF-модели

Первый запуск llama-server из llama.cpp: GGUF-файл, контекст, локальный адрес, журнал backend и контрольный запрос к API.

Автор: Команда Retrivium
Обновлено: 2026-11-01
Канонический URL: https://retrivium.ai/ru/journal/llama-cpp-server-launch/
Language: ru

Для локального API llama.cpp используют `llama-server` с совместимым GGUF-файлом. Сначала проверьте сборку и backend, затем загрузку модели, адрес и короткую генерацию. Сервер способен работать с разным размещением CPU/GPU, поэтому открывающаяся страница ещё не доказывает использование нужного ускорителя или пригодность машины к рабочей нагрузке.

## Подготовьте проверенный файл и сборку

Запишите версию llama.cpp, источник бинарного файла и поддерживаемый backend. Для собственной сборки сохраните commit и параметры CMake. Модель выбирайте по точному имени GGUF и архитектуре, а не по одному семейству. Поддержка новых моделей может зависеть от свежести движка.

[Официальная инструкция сборки](https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md) разделяет аппаратные пути. [Руководство llama-server](https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md) описывает параметры запуска и API. Не смешивайте бинарник из одной установки с библиотеками другой, если происхождение зависимости непонятно.

## Запустите минимальный локальный пример

Для уже установленного совместимого бинарника пример выглядит так:

```bash
llama-server -m /path/to/model.gguf \
  --ctx-size 4096 \
  --host 127.0.0.1 --port 8080
```

Путь требуется заменить существующим файлом. Число 4096 задаёт ограничение учебного опыта. Команда намеренно не предполагает универсального количества GPU-слоёв: размещение проверяется по сборке и журналу. На Windows имя исполняемого файла и путь будут соответствовать вашей установке.

Дождитесь загрузки и сообщения о готовности. Если файл разделён на части, используйте предусмотренный документацией маршрут. Ошибка чтения пути, неизвестная архитектура и недостаток памяти относятся к разным этапам; сохраняйте исходный текст вместо немедленного изменения всех аргументов.

## Проверьте API и идентификатор модели

Сначала обратитесь к локальному серверу и получите предусмотренный им список моделей. Затем выполните короткий запрос с небольшим выходом. Для чатового интерфейса важно, чтобы модель и шаблон поддерживали выбранный формат сообщений. Совместимый путь API не исправляет неподходящий шаблон автоматически.

Практический сценарий: одно приветствие, одна задача с известным ответом и один запрос на заданный формат. Сохраните статус, текст и время. Такой набор проверяет основные свойства интерфейса, но ещё не измеряет устойчивую параллельную обработку.

## Подтвердите фактический backend

В журнале посмотрите обнаруженные устройства и перенос модели. Если ожидался GPU, а выполняется CPU-путь, сначала разберите сборку и доступ устройства. Повышение параметра переноса не создаст backend, которого нет в бинарном файле.

Дальнейшая настройка разобрана в [руководстве GPU layers](/ru/journal/llama-cpp-gpu-layers/). Для выбора исходного артефакта пригодится [статья о GGUF](/ru/journal/llama-cpp-gguf-selection/). Перед нагрузкой сохраните базовую рабочую команду: к ней можно вернуться, если эксперимент с контекстом или размещением окажется неудачным.

Сохраните также фактический путь бинарника и файла модели. Относительные пути удобны в одной папке, но после передачи запуска другому оператору способны ссылаться уже на другое расположение.

## Оформите результат запуска для пилота

После короткой проверки повторите запуск из новой сессии и убедитесь, что файлы и зависимости найдены. Затем измерьте типичный документ и длительный режим. Не называйте успешный одиночный ответ доказательством готовности обслуживать произвольное число клиентов.

Владельцу машины полезно передать версию, GGUF, backend, команду и измерения. Финансовому партнёру такой набор показывает, что уже подготовлено и какой ресурс ограничивает следующий этап.