В этом материале
Сравнивайте не только тариф времени, но и последствия прерываний. Spot-предложение полезно оценивать для задач, которые умеют сохранять результат и возвращаться к работе на доступной мощности.
Прерываемый GPU-ресурс может выглядеть дешевле обычной аренды. Но итог зависит от того, какая работа потеряется при остановке и как быстро появится замена. Для владельца оборудования и партнёра, финансирующего пул, это вопрос архитектуры и эксплуатационного бюджета, а не только выбора строки тарифа.
Что означают два режима
AWS Spot Instances используют доступную избыточную ёмкость и рассчитаны на гибкие прерываемые задачи. Google Spot VMs также описываются с собственными условиями предоставления и остановки.
Точные правила, доступность GPU и цены проверяйте для выбранного региона и конфигурации. Нельзя брать условия одного облака и применять их ко всем предложениям со словом spot.
Обычная аренда on-demand тоже не устраняет необходимость восстановления после сбоев. Различается модель предоставления ресурса, а не наличие универсальной защиты приложения от всех остановок.
Выберите подходящий профиль
Фоновая обработка независимых документов обычно обсуждается иначе, чем интерактивная сессия с ожидающим пользователем. Сначала выясните, можно ли разделить задачу на завершённые единицы и сохранить результат между ними.
Для условного архива запишите идентификатор документа, статус обработки и место результата. Повторный запуск должен понимать, что уже завершено, а не начинать всю работу без проверки.
Если операция имеет внешние побочные действия, отдельно продумайте защиту от повторов. Одинаковый запрос после остановки не должен случайно создавать дубликаты в других системах.
Проверьте цену восстановления
В отдельном тестовом окне остановите согласованную нагрузку и выполните восстановление на доступной конфигурации. Измерьте получение машины, загрузку модели и возврат приложения к готовности.
Отдельно учтите повторные вычисления и передачу данных. Низкая стоимость часа не подтверждает низкую стоимость завершённой партии, если значительная работа регулярно выполняется заново.
Сохраните также вариант, когда нужной замены нет. Для задачи со сроком завершения это может оказаться важнее среднего времени восстановления при удачном предоставлении ресурса.
Сравните смешанную схему
Можно рассматривать постоянный базовый ресурс и дополнительную прерываемую мощность для подходящих задач.
В таблице пилота покажите полезные завершения, затраты ожидания, перезапуски и итоговое время. Не подменяйте эти показатели максимальной загрузкой GPU: вычисления повторно потерянной работы тоже создают загрузку.
Для финансового партнёра полезен ограниченный бюджет эксперимента. Он позволит увидеть, где гибкость окупает дополнительную сложность, не делая заранее обещаний экономии или доходности.
В журнале партии различайте остановку ресурса, ошибку приложения и отклонение неверного входа. Эти события требуют разного повторного действия. Если объединить их в одну долю ошибок, будет сложно объяснить дополнительные расходы и выбрать подходящую схему восстановления.
Практические выводы
Владельцы могут предложить ресурс с конкретными окнами доступности. Важно описать их честно: такая машина не становится эквивалентом облачного spot автоматически, но тоже требует планирования перерывов.
Затем изучите пакетный инференс и резервирование ёмкости.