# Четыре serverless-подхода к GPU-инференсу

Подборка Runpod, Vast.ai, Modal и Crusoe для изучения serverless-инференса: свой код, workers, endpoint модели, холодный запуск и сравнение разных единиц оплаты.

Автор: Команда Retrivium
Обновлено: 2026-11-01
Канонический URL: https://retrivium.ai/ru/journal/top-serverless-gpu-providers/
Language: ru

Serverless помогает отделить приложение от управления отдельными машинами, но за этим словом скрываются разные формы работы. Иногда команда развёртывает свой код и workers, иногда обращается к управляемой модели. Для LLM эти различия влияют на контроль, задержки и бюджет.

Подборка актуальна на 1 ноября 2026 года. Это редакционная карта четырёх подходов по официальным документам, без собственных тестов и распределения мест по цене или скорости.

## Критерии включения

Мы выбрали сервисы с официально описанным serverless-путём для AI-нагрузок. Важные критерии — что развёртывает клиент, как масштабируется выполнение и какая единица используется для расчётов. Выбор не основан на партнёрских программах.

Включение не означает, что все четыре решения подходят вашей модели. Доступные устройства, ограничения аккаунта, форматы запросов и нужные функции проверяются отдельно. Особенно важно не сравнивать оплату вычислительного времени с оплатой общего API без одной и той же задачи.

## Четыре участника и предмет проверки

| Сервис | Отправная точка | Что проверять в пилоте |
| --- | --- | --- |
| [Runpod Serverless](https://docs.runpod.io/serverless/overview) | Workers и endpoints собственного приложения | Очередь, холодный старт и выбранный тип endpoint |
| [Vast Serverless](https://docs.vast.ai/guides/serverless) | Выполнение AI-задач и workergroups | Подготовка конкретной нагрузки и режим масштабирования |
| [Modal](https://modal.com/docs/guide) | Приложение и ресурсы, описываемые в коде | Переносимость окружения и жизненный цикл контейнера |
| [Crusoe](https://docs.crusoe.ai/serverless-inference/index.html) | Управляемый serverless inference | Доступная модель, функции API и единица начисления |

Таблица показывает различие уровней. Готовый модельный API не становится эквивалентом произвольного контейнера, а возможность выполнять свой код не означает, что качество модели уже проверено.

## Как измерить первый запрос

Проверяйте запуск после отсутствия активной мощности, повторные запросы и потоковую выдачу, если она нужна клиенту. Отдельно фиксируйте ожидание очереди и собственно генерацию. Один быстрый прогретый ответ не описывает нерегулярное приложение.

Сохраните размеры входа и выхода, ограничения контекста и параллелизм. Если сервис выбирает разные устройства или режимы автоматически, отражайте это в условиях теста. Результат должен относиться к проверяемой конфигурации, а не к абстрактному слову serverless.

## Как собрать бюджет переменного потока

Условная команда готовит два профиля: редкие отдельные обращения и короткий всплеск запросов. Для каждого считает полный расход, включая применимые запуск, ожидание и хранение. Правила начисления проверяются по выбранному продукту, а не переносятся с соседней услуги бренда.

В итог добавьте работу над образом, обработкой ошибок и наблюдением. Serverless меняет распределение обязанностей, но не отменяет ответственность за приложение. Если нужна постоянно активная мощность ради задержек, это отдельное решение бюджета.

## Как связать выбор с собственным пулом

Такая проверка помогает понять, какой профиль нагрузки может обслуживать собственная инфраструктура и какие функции нужны клиенту. Она не является прогнозом оплачиваемой загрузки ваших GPU.

Для подготовки прочитайте [компромисс скорости и задержек](/ru/journal/throughput-latency-tradeoff/) и [планирование мощности](/ru/journal/inference-capacity-planning/).