gzip tar 文件可以用于 Sagemaker 中的训练数据吗？

Question

我在 S3 的数十个 tar.gz 文件中有 50TB 的未压缩数据（图像）。我一次用十几个这样的 tar.gz 文件训练 tensorflow 模型。我想使用 Sagemaker 训练作业来提取这些数据并在训练前解压。这可能吗？在进行训练之前，我是否必须更改数据的存储方式？

Answer 1

简答：否

长答案： 将 Sagemaker 用于非常大的数据集的推荐方法是使用 Pipe API（而不是 File Api），它将数据流式传输到训练图像而不是下载数据。要利用 Pipe API，数据需要采用一种受支持的文件类型：文本记录、TFRecord 或 Protobuf

好处是

1. 减少容器启动时的延迟
2. 无需将实例存储扩展到训练数据的大小
3. 通过在模型训练之前移动大部分预处理来提高吞吐量

参考资料：

1. https://aws.amazon.com/blogs/machine-learning/using-pipe-input-mode-for-amazon-sagemaker-algorithms/
2. https://julsimon.medium.com/making-amazon-sagemaker-and-tensorflow-work-for-you-893365184233（这是一个很棒的资源，它回答了很多关于在超大型数据集上使用 Sagemaker 的问题）
3. https://julsimon.medium.com/deep-dive-on-tensorflow-training-with-amazon-sagemaker-and-amazon-s3-12038828075c