# Сервер со 128 ГБ RAM для LLM: что он может дать без большой VRAM

Сервер со 128 ГБ RAM для LLM: CPU-инференс, частичный GPU-offload, рабочая память, задержка ответа и проверка вместо приравнивания RAM к VRAM.

Автор: Команда Retrivium
Обновлено: 2026-11-01
Канонический URL: https://retrivium.ai/ru/journal/server-128gb-ram-llm/
Language: ru

Сервер со 128 ГБ RAM может быть полезен для CPU-инференса, частичного размещения модели между CPU и GPU, подготовки данных и других задач вокруг LLM. Однако объём системной памяти не равен объёму VRAM карты и сам по себе не определяет скорость генерации.

Если у вас уже есть такой сервер, разумно сначала проверить подходящую нагрузку на имеющейся конфигурации. Покупка ускорителя или дополнительной памяти становится следующим решением после измерения реального ограничения.

## Опишите всю конфигурацию

Укажите процессор, число сокетов, организацию памяти, накопитель и GPU, если она установлена. Важны не только гигабайты: доступная пропускная способность, вычисления и перемещения данных влияют на задержку. Также нужно знать, какая часть RAM уже занята системой и соседними сервисами.

[CUDA Programming Guide о памяти](https://docs.nvidia.com/cuda/cuda-programming-guide/02-basics/understanding-memory.html) различает возможности систем и механизмы общего доступа. Единое адресное пространство не означает одинаковую скорость всех физических областей памяти или автоматическую поддержку любого приложения.

## Сравните применимые роли

| Роль сервера | Что даёт RAM | Главная проверка |
| --- | --- | --- |
| CPU-инференс | Размещение поддерживаемой модели | Время ответа на реальных входах |
| CPU и GPU вместе | Возможность выбранного offload | Переносы и пик памяти |
| Подготовка документов | Буферы и параллельные задания | CPU, диск и рабочий объём |
| Поисковый сервис | Индексы и кэш | Задержка под нагрузкой |

Пригодность зависит от программного стека и требований конкретного проекта.

## Проверьте поддерживаемый движок

[Официальный llama.cpp](https://github.com/ggml-org/llama.cpp) поддерживает CPU и гибридный CPU+GPU-инференс для совместимых моделей и backend. Это практическая отправная точка для эксперимента, но не гарантия вместимости любой архитектуры по одному размеру RAM.

Сохраните модель, формат весов, длину контекста и параметры размещения. Помимо весов нужны рабочие данные и системный запас. Модель, которая загрузилась, может оказаться неудобной при длинном входе или нескольких одновременно активных запросах.

## Измерьте задержку и очередь

Проверьте короткий типичный запрос, длинный вход и несколько последовательных заданий. Отдельно измерьте время до первого результата и длительность полного ответа. Для пакетной фоновой работы допустимая задержка может отличаться от интерактивного приложения.

Условный критерий пилота: завершить заданный набор документов в исследовательское окно. Он подходит для конкретного расписания, но не доказывает возможность обслуживать произвольный поток пользователей. При гибридном режиме сравните его с CPU без offload на одинаковых входах.

Для машины с несколькими сокетами сохраните размещение процесса и используемой памяти. Изменение этого режима может повлиять на результат независимо от общей ёмкости RAM, поэтому его полезно фиксировать вместе с тестом.

## Выберите дальнейшее действие

Если ограничивает CPU или пропускная способность памяти, увеличение ёмкости сверх нужной может не решить проблему. Если не помещается рабочий объём, сначала уточните настройки и допустимый формат модели. Решение о новой GPU принимают по измерению полезной задачи.

Контекст дают [различия RAM и VRAM](/ru/journal/ram-vs-vram/) и [сценарии CPU-инференса](/ru/journal/cpu-llm-inference-use-cases/).