AWS Sagemaker ClientError：imread 读取文件的空白（无）图像：/opt/ml/input/data/train/image_directory/key_of_first_image.jpg答案

【问题标题】：AWS Sagemaker ClientError: imread read blank (None) image for file: /opt/ml/input/data/train/image_directory/key_of_first_image.jpgAWS Sagemaker ClientError：imread 读取文件的空白（无）图像：/opt/ml/input/data/train/image_directory/key_of_first_image.jpg
【发布时间】：2019-11-22 10:51:22
【问题描述】：

我在我自己的数据集上关注此tutorial，该数据集位于 S3 上 - 图像文件和 .lst 文件。 S3-bucket的结构是：

s3://{bucket_name}/image-classification/train -> in here I have 2 'directories' with images of my 2 classes

s3://{bucket_name}/image-classification/train_lst

s3://{bucket_name}/image-classification/validation -> in here I have 2 'directories' with images of my 2 classes

s3://{bucket_name}/image-classification/validation_lst

我已经为 Sagemaker 设置了 IAM 角色以访问存储桶，存储桶的名称中包含“sagemaker”。当我最终运行脚本时（几乎与教程中的一样，我只需要一个带有 profile_name 的会话来访问 Sagemaker），它给了我上面的错误并以失败的作业状态结束。我找不到任何解决方案。欢迎所有想法。

提前致谢。

【问题讨论】：

你成功了吗？如果是这样，解决方案是什么？

标签： amazon-web-services amazon-sagemaker

【解决方案1】：

如果代码与教程几乎相同，这是可能的；这是由于图像文件。
尝试检查 JPG 文件压缩和通道的完整性。
出于某种原因，imread 正在读取您文件中“空白”/（空）的频道。

编辑：

如果检查后格式图片没问题，请尝试检查*.lst文件上的路径：(train_lst and validation_lst)，错误的路径指向不存在的数据通常会导致此类错误。

【讨论】：

我已经使用教程中的数据集而不是我自己的数据集重新启动了教程，以确保图像正确，不要太大等...第一张图像的路径是：@987654324 @ train_lst 的第一项（发生错误的地方）是：14204 236.000000 237.vcr\237_0070.jpg s3train 通道指向：s3://{}/image-classification/train/'.format(bucket) 所以这应该可以工作，但仍然给出相同的错误。
@JanoRoelandt 你是怎么解决的？我遇到了同样的错误...
我使用的是 RecordIO 格式而不是 Image 格式，不幸的是我无法弄清楚 Image 格式。可以在此处找到有关使用 Sagemaker 进行 RecordIO 格式培训的信息：link

【解决方案2】：

尝试验证*.lst 文件路径，并按照此处提到的说明进行操作https://docs.aws.amazon.com/sagemaker/latest/dg/image-classification.html

例如，如果您的训练图像存储在s3://<your_bucket>/train/class_dog、s3://<your_bucket>/train/class_cat 等，请将您的训练通道的路径指定为s3://<your_bucket>/train，这是您的数据的顶级目录。

在.lst 文件中，将class_dog 类目录中名为train_image_dog1.jpg 的单个文件的相对路径指定为class_dog/train_image_dog1.jpg。

您还可以将所有图像文件存储在train 目录内的一个子目录下。在这种情况下，使用该子目录作为相对路径。例如，s3://<your_bucket>/train/your_image_directory。

【讨论】：