В этом материале
Пакетная работа оценивается по завершённой партии к нужному сроку. Проверьте размер задач, сохранение результатов и восстановление, прежде чем считать ночное окно достаточным ресурсом.
Не каждому пользователю AI нужен немедленный ответ. Обработка архива, подготовка описаний и другие фоновые задачи могут выполняться партиями. Для владельца GPU с предсказуемыми свободными окнами это интересный сценарий проверки, если задача действительно допускает расписание и понятный срок завершения.
Определите единицу работы
Запишите, что считается завершённым результатом: документ, запись или другой элемент партии. Сохраните ожидаемый формат и проверки качества. Выпущенные токены сами по себе не описывают успешную обработку всего набора.
vLLM рассматривает offline inference отдельно от онлайн-сервинга. AWS Batch Transform — пример управляемого продукта для пакетной обработки со своими правилами.
Не переносите возможности конкретного продукта на любое оборудование. Сначала выберите поддерживаемый способ выполнения и границы задачи.
Согласуйте расписание
Уточните начало окна, время подготовки среды и момент, когда GPU должен вернуться владельцу. Если модель загружается долго, фактический интервал полезной работы будет меньше календарного окна.
Для условной ночной обработки определите срок получения входов и допустимый остаток незавершённых задач. Фраза «работаем ночью» недостаточна без времени завершения и ответственного за продление.
Проверьте, какие действия выполняются автоматически, а какие требуют человека. Ручное вмешательство в недоступное время может сделать расписание непригодным, даже если карта технически справляется.
Проведите лестницу размера партии
Начните с небольшой репрезентативной выборки и увеличивайте объём. Сохраняйте время, ошибки, RAM, VRAM и объём промежуточных файлов. Не увеличивайте параллельность одновременно с изменением всего набора без отдельного сравнения.
Контролируйте качество на каждом шаге. Если часть сложных документов пропущена, лучшая скорость может оказаться следствием меньшего фактического объёма полезной работы.
Проверьте типичный и неблагоприятный вход. Среднее время на короткой записи не описывает остаток партии из длинных документов ближе к завершению окна.
Испытайте повторный запуск
Сохранённые результаты должны позволять понять, что завершено и что нужно повторить. Иначе остановка может привести к переработке всего набора и дополнительным расходам.
В согласованном тесте прекратите процесс и верните его к работе. Проверьте отсутствие потерянных и ошибочно продублированных записей. Отдельно учтите повторные обращения к внешним системам, если они входят в сценарий.
Уточните жизненный цикл временного хранения. Локальный быстрый диск не должен быть единственным необъяснимым местом результата, который потребуется после отключения машины.
Проверьте завершение последней небольшой части партии. Неравномерные записи могут оставлять медленный остаток, когда большая часть результата уже готова. Планировать срок стоит по всей задаче, включая этот участок, а не по лучшей скорости в середине большого однородного набора.
Как обсуждать экономику окна
Сравнивайте стоимость завершённой партии, включая запуск, восстановление и ожидание. Не умножайте пиковую скорость GPU на все доступные часы как будто работа всегда идёт без пауз.
Для подготовки прочитайте spot-сценарии, NVMe и запуск и учёт результатов.