В этом материале
S3-совместимость означает конкретный поддерживаемый набор операций; не все возможности Amazon S3 доступны сетевому тому Runpod.
Runpod S3-compatible API позволяет работать с файлами network volume через S3-инструменты без запуска Pod. Это интерфейс к существующему сетевому тому, а не обещание полного набора возможностей Amazon S3. Для клиента нужны правильные endpoint, дата-центр, ID тома и учётные данные.
Как связаны том, bucket и файл
Документация S3-compatible API сопоставляет network volume с bucket, а имена объектов — с путями файлов на томе. Поэтому загрузку через S3 и чтение из подключённого Pod можно организовать вокруг одного набора данных.
Не путайте локальную директорию ноутбука, путь внутри Pod и адрес объекта для клиента S3. Они описывают разные стороны доступа. В рабочей инструкции укажите каждый явно: исходную папку, ID тома, каталог назначения и ожидаемый путь приложения после подключения.
Выберите endpoint текущего дата-центра
Для команд S3 документация требует соответствующий endpoint и параметр региона, связанный с дата-центром Runpod. Использование стандартного endpoint Amazon по привычке направит запрос не туда. Адрес и идентификатор берите из панели и актуальной документации своего тома.
Описание network volumes объясняет размещение и жизненный цикл ресурса. Том одного дата-центра не становится автоматически копией другого. Если планируется перенос вычислений, заранее определите, будет ли выбран совместимый Pod или понадобится отдельное копирование данных.
Что отличается от полного Amazon S3
| Операция | Что указывает документация Runpod |
|---|---|
| Чтение и загрузка файлов | Поддерживаемые операции API |
| Создание самого тома | Через панель Runpod, не CreateBucket |
| Удаление самого тома | Отдельное управление ресурсом |
| Versioning | Не поддерживается как возможность S3 API |
| Presigned URLs | Не поддерживаются по таблице операций |
Проверяйте таблицу для нужного инструмента. Клиент может ожидать ACL, метаданные или другие функции автоматически. Общая надпись S3-compatible не подтверждает работу любого сценария, разработанного для полного Amazon S3.
Пример предварительной загрузки данных
Команда хочет загрузить исходный набор до аренды GPU. Она создаёт том, проверяет S3-доступ маленьким файлом и читает его обратно. После этого передаёт основной набор и сохраняет ведомость контрольных сумм. Затем создаёт совместимый Pod и проверяет путь внутри среды.
Такой порядок отделяет подготовку хранения от оплачиваемой вычислительной сессии. Он не отменяет расходов самого тома и не гарантирует наличие нужной GPU. Если данные незаменимы, независимая резервная копия остаётся отдельной задачей, особенно при отсутствии привычного versioning.
Если приложение ожидает привычные возможности Amazon S3, составьте список вызываемых операций до подключения. Проверка чтения одного файла не подтверждает работу всего клиента. Попробуйте также требуемую запись и обработку ошибок. Тогда несовместимая дополнительная операция обнаружится на учебном наборе, а не после загрузки большого каталога и начала основной вычислительной сессии.
Проверьте результат и ключи
Перед автоматизацией подтвердите чтение, запись и обработку ошибки на небольшом наборе. Не передавайте действующие секреты в публичных командах или notebook. Для больших файлов используйте поддерживаемый клиентом механизм загрузки и проверяйте завершённость передачи.
После пилота сохраните ID тома, размещение и список нужных данных. Удаление Pod не завершает жизненный цикл этого хранилища.
Продолжите с persistent storage Runpod и аудита оставшихся ресурсов. Это позволит обсуждать подготовку ресурса предметно.