В этом материале
Оценивать нужно несколько сценариев спроса и полный расход на эксплуатацию. Доступность GPU, техническая загрузка и оплаченные токены не взаимозаменяемы.
Оборудование может быть свободным и при этом дорогим в эксплуатации. До подключения к пулу важно отделить три вопроса: сколько стоит поддерживать машину, сколько полезной нагрузки она выдерживает и сколько этой нагрузки действительно будет оплачено. Ответ на один вопрос не заменяет два других.
Составьте карту расходов
Включите электричество всей машины, охлаждение, размещение, интернет, поддержку и резерв на обслуживание. Если сервер уже куплен, это не делает будущую эксплуатацию бесплатной. Для решения о продлении работы также полезно учитывать износ и альтернативное использование оборудования.
Обозначьте, кто несёт каждый расход. Расчёт владельца и расчёт оператора будут разными, если электричество оплачивает одна сторона, а администрирование — другая. Не вычитайте одну и ту же статью дважды из общей выручки.
Посчитайте электричество отдельно
Пример ниже условный и не является прогнозом доходности. Пусть средняя измеренная мощность сервера на входе составляет 0,6 кВт, время работы — 720 часов, тариф — 0,12 условной денежной единицы за кВт·ч.
Энергия: 0,6 × 720 = 432 кВт·ч
Стоимость: 432 × 0,12 = 51,84В расчёт не включены охлаждение, простой при включённом сервере и остальные расходы. Для своей машины используйте измерения, а не номинальную мощность блока питания. Номинал показывает возможности источника питания, а не фактическое потребление.
Не путайте скорость и продажи
Результат бенчмарка в токенах в секунду показывает возможности в конкретном сценарии. Он не означает, что сервер будет непрерывно производить продаваемые токены. На фактическую работу влияют запросы пользователей, выбранная модель, длина контекста и ограничения сервиса.
У входных и выходных токенов могут быть разные цены. Для оценки используйте раздельные объёмы, а затем учитывайте правила оплаты, корректировки и условия договора. Не умножайте пиковую скорость одного теста на весь месяц.
Рассмотрите три сценария
Подготовьте осторожный, рабочий и благоприятный сценарии. Меняйте долю времени с оплаченной нагрузкой и состав запросов, сохраняя видимыми исходные предположения. Добавьте ситуацию без выручки: сможете ли вы остановить машину и какие расходы сохранятся?
Обсуждать условия имеет смысл после технического пилота. Перед разговором также посмотрите модели расчётов с владельцем и учёт работы оборудования.