В этом материале
128 ГБ RAM расширяют варианты CPU и гибридного инференса, но не заменяют 128 ГБ VRAM и не гарантируют нужную скорость ответа.
Сервер со 128 ГБ RAM может быть полезен для CPU-инференса, частичного размещения модели между CPU и GPU, подготовки данных и других задач вокруг LLM. Однако объём системной памяти не равен объёму VRAM карты и сам по себе не определяет скорость генерации.
Если у вас уже есть такой сервер, разумно сначала проверить подходящую нагрузку на имеющейся конфигурации. Покупка ускорителя или дополнительной памяти становится следующим решением после измерения реального ограничения.
Опишите всю конфигурацию
Укажите процессор, число сокетов, организацию памяти, накопитель и GPU, если она установлена. Важны не только гигабайты: доступная пропускная способность, вычисления и перемещения данных влияют на задержку. Также нужно знать, какая часть RAM уже занята системой и соседними сервисами.
CUDA Programming Guide о памяти различает возможности систем и механизмы общего доступа. Единое адресное пространство не означает одинаковую скорость всех физических областей памяти или автоматическую поддержку любого приложения.
Сравните применимые роли
| Роль сервера | Что даёт RAM | Главная проверка |
|---|---|---|
| CPU-инференс | Размещение поддерживаемой модели | Время ответа на реальных входах |
| CPU и GPU вместе | Возможность выбранного offload | Переносы и пик памяти |
| Подготовка документов | Буферы и параллельные задания | CPU, диск и рабочий объём |
| Поисковый сервис | Индексы и кэш | Задержка под нагрузкой |
Пригодность зависит от программного стека и требований конкретного проекта.
Проверьте поддерживаемый движок
Официальный llama.cpp поддерживает CPU и гибридный CPU+GPU-инференс для совместимых моделей и backend. Это практическая отправная точка для эксперимента, но не гарантия вместимости любой архитектуры по одному размеру RAM.
Сохраните модель, формат весов, длину контекста и параметры размещения. Помимо весов нужны рабочие данные и системный запас. Модель, которая загрузилась, может оказаться неудобной при длинном входе или нескольких одновременно активных запросах.
Измерьте задержку и очередь
Проверьте короткий типичный запрос, длинный вход и несколько последовательных заданий. Отдельно измерьте время до первого результата и длительность полного ответа. Для пакетной фоновой работы допустимая задержка может отличаться от интерактивного приложения.
Условный критерий пилота: завершить заданный набор документов в исследовательское окно. Он подходит для конкретного расписания, но не доказывает возможность обслуживать произвольный поток пользователей. При гибридном режиме сравните его с CPU без offload на одинаковых входах.
Для машины с несколькими сокетами сохраните размещение процесса и используемой памяти. Изменение этого режима может повлиять на результат независимо от общей ёмкости RAM, поэтому его полезно фиксировать вместе с тестом.
Выберите дальнейшее действие
Если ограничивает CPU или пропускная способность памяти, увеличение ёмкости сверх нужной может не решить проблему. Если не помещается рабочий объём, сначала уточните настройки и допустимый формат модели. Решение о новой GPU принимают по измерению полезной задачи.
Контекст дают различия RAM и VRAM и сценарии CPU-инференса.