В этом материале
Ёмкость отвечает на вопрос размещения, а пропускная способность — на один из вопросов доступа к данным. Оба показателя важны, но ни один отдельно не предсказывает скорость приложения.
У двух серверов может быть одинаковый объём памяти и разная скорость выполнения модели. Причина не обязательно в количестве процессорных ядер: значение имеют организация памяти, доступ к данным и выбранный движок. Для владельца GPU это повод описывать конфигурацию подробнее, а для партнёра — не оценивать закупку только стоимостью гигабайта.
Разделите ёмкость и передачу
Ёмкость показывает, сколько данных можно разместить в конкретном ресурсе. Пропускная способность описывает возможности передачи в определённых условиях. Задержки отдельных обращений и совместная работа процессов добавляют другие измерения.
Это относится и к RAM, и к памяти ускорителя, но они остаются разными ресурсами. Увеличенная системная RAM не превращается в быструю локальную VRAM. При обмене между ними нужно учитывать весь путь выполнения.
В требованиях CPU-бэкенда vLLM рассматриваются настройки окружения и размещения работы. Они показывают, почему одной строки объёма памяти недостаточно для повторяемого запуска.
Сохраните полный паспорт
Для CPU-сервера запишите процессор, сокеты, установленную память и известную конфигурацию её подключения. Для GPU укажите точную карту, объём VRAM и соединения. Не заменяйте эти сведения общей суммой ресурсов.
Описание AWS R8i отдельно рассматривает платформу и возможности памяти. Чужие заявления о сравнении поколений не являются результатом вашего приложения; используйте страницу как спецификацию кандидата, а не готовый прогноз.
У облачной машины дополнительно уточните размер, способ предоставления CPU и регион. Одно семейство может включать разные конфигурации.
Проведите два прикладных теста
Первый тест проверяет модель с небольшим контекстом и фиксированным числом обращений. Второй увеличивает рабочий набор или параллелизм в пределах поддерживаемой конфигурации. Сохраните задержки, ошибки и потребление памяти.
Если дополнительная память устраняет ошибки размещения, это один результат. Если данные помещались и раньше, но скорость почти не меняется, покупка большей ёмкости требует другого обоснования.
Не объясняйте любое плато только памятью. Причиной могут быть вычисления, планировщик, сеть или подготовка входов. Сначала сопоставьте наблюдения разных этапов.
Проверьте совместную работу
Добавьте фоновую подготовку данных или обычные задачи владельца. Иногда одиночный тест не показывает конкуренцию за ресурсы хоста. Для сервера, который планируется делить по расписанию, это важная часть оценки.
Учитывайте состояние кеша и размещение процесса. Перезапуск в другой конфигурации может изменить результат без физической замены оборудования. Поэтому сохраняйте параметры и повторяйте исходную контрольную точку.
Финансовому партнёру покажите конкретное ограничение и ожидаемый способ его проверки. Слова «быстрая память» недостаточно, чтобы выбрать между новой картой, дополнительной RAM и настройкой существующего сервера.
Практические выводы
Если сведений о её организации нет, это можно уточнить на техническом этапе, не покупая компоненты заранее.
Дополнительно изучите RAM и VRAM и планирование ёмкости.