S3DistCP 为清单复制一些文件，而不复制其余文件

Question

我们使用 S3Distcp 通过清单文件将文件从 S3 复制到 HDFS - 即，我们在 S3Distcp 命令中使用 --copyFromManifest 参数。但是，在 S3DistCP 步骤中，仅复制清单中列出的部分文件。我不确定我们应该从哪里开始寻找问题 - 即，为什么有些文件是副本而其他文件不是？

谢谢

Answer 1

也许问题是您有同名但位于不同目录的文件。在这种情况下，您需要更改构造 baseName 和 srcDir 字段的方式。请描述您如何构建清单文件。