将图像数据集上传到 S3 sagemaker答案

【问题标题】：upload image dataset to S3 sagemaker将图像数据集上传到 S3 sagemaker
【发布时间】：2021-01-25 17:01:15
【问题描述】：

我的数据集是 3 个图像文件夹（训练、验证和测试）。每个文件夹都有两个子文件夹（cat1 和 cat2）。我正在使用 AWS sage maker 来预处理我的数据并训练我的模型。我们都知道，在开始“.fit”过程之前，我们必须将训练数据上传到 S3 存储桶。我想知道如何将我的数据集上传到 S3

# general prefix
prefix='chest-xray'
#unique train/test prefixes
train_prefix   = '{}/{}'.format(prefix, 'train')
val_prefix   = '{}/{}'.format(prefix, 'validation')
test_prefix    = '{}/{}'.format(prefix, 'test')

# uploading data to S3, and saving locations
train_path  = sagemaker_session.upload_data(train_data, bucket=bucket, key_prefix=train_prefix)

train_data 参数应该是什么样子

【问题讨论】：

标签： amazon-s3 amazon-sagemaker

【解决方案1】：

根据documentationtrain_data 是要上传到S3 的文件的本地路径，因此您需要在本地启动训练作业的地方使用此文件。如果您使用的是笔记本电脑，这不是办法。您必须手动将数据集上传到 S3 存储桶中。我建议在单个文件中预处理您的数据集（例如，如果您使用 TF，则为 tfrecord）并将该文件上传到 S3。您可以使用 AWS Web 控制台或使用带有 aws s3 cp yourfile s3://your-bucket command 的 AWS-CLI 来执行此操作。

【讨论】：