В этом материале
Serverless не означает одинаковый продукт. Выбирайте между выполнением своего кода и использованием управляемой модели, затем проверяйте холодный запуск, ожидание и структуру начислений.
Serverless помогает отделить приложение от управления отдельными машинами, но за этим словом скрываются разные формы работы. Иногда команда развёртывает свой код и workers, иногда обращается к управляемой модели. Для LLM эти различия влияют на контроль, задержки и бюджет.
Подборка актуальна на 1 ноября 2026 года. Это редакционная карта четырёх подходов по официальным документам, без собственных тестов и распределения мест по цене или скорости.
Критерии включения
Мы выбрали сервисы с официально описанным serverless-путём для AI-нагрузок. Важные критерии — что развёртывает клиент, как масштабируется выполнение и какая единица используется для расчётов. Выбор не основан на партнёрских программах.
Включение не означает, что все четыре решения подходят вашей модели. Доступные устройства, ограничения аккаунта, форматы запросов и нужные функции проверяются отдельно. Особенно важно не сравнивать оплату вычислительного времени с оплатой общего API без одной и той же задачи.
Четыре участника и предмет проверки
| Сервис | Отправная точка | Что проверять в пилоте |
|---|---|---|
| Runpod Serverless | Workers и endpoints собственного приложения | Очередь, холодный старт и выбранный тип endpoint |
| Vast Serverless | Выполнение AI-задач и workergroups | Подготовка конкретной нагрузки и режим масштабирования |
| Modal | Приложение и ресурсы, описываемые в коде | Переносимость окружения и жизненный цикл контейнера |
| Crusoe | Управляемый serverless inference | Доступная модель, функции API и единица начисления |
Таблица показывает различие уровней. Готовый модельный API не становится эквивалентом произвольного контейнера, а возможность выполнять свой код не означает, что качество модели уже проверено.
Как измерить первый запрос
Проверяйте запуск после отсутствия активной мощности, повторные запросы и потоковую выдачу, если она нужна клиенту. Отдельно фиксируйте ожидание очереди и собственно генерацию. Один быстрый прогретый ответ не описывает нерегулярное приложение.
Сохраните размеры входа и выхода, ограничения контекста и параллелизм. Если сервис выбирает разные устройства или режимы автоматически, отражайте это в условиях теста. Результат должен относиться к проверяемой конфигурации, а не к абстрактному слову serverless.
Как собрать бюджет переменного потока
Условная команда готовит два профиля: редкие отдельные обращения и короткий всплеск запросов. Для каждого считает полный расход, включая применимые запуск, ожидание и хранение. Правила начисления проверяются по выбранному продукту, а не переносятся с соседней услуги бренда.
В итог добавьте работу над образом, обработкой ошибок и наблюдением. Serverless меняет распределение обязанностей, но не отменяет ответственность за приложение. Если нужна постоянно активная мощность ради задержек, это отдельное решение бюджета.
Как связать выбор с собственным пулом
Такая проверка помогает понять, какой профиль нагрузки может обслуживать собственная инфраструктура и какие функции нужны клиенту. Она не является прогнозом оплачиваемой загрузки ваших GPU.
Для подготовки прочитайте компромисс скорости и задержек и планирование мощности.