-Dmapred.job.name 不适用于 s3-dist-cp 命令

Question

我想使用 s3-dist-cp 将一些文件从 emr-hdfs 复制到 s3 存储桶，我已经从“EMR 主节点”尝试了这个 cmd：

s3-dist-cp -Dmapred.job.name=my_copy_job --src hdfs:///user/hadoop/abc s3://my_bucket/my_key/

此命令执行良好，但是当我在纱线资源管理器 UI 中检查作业名称时，它显示如下： S3DistCp hdfs:///user/hadoop/abc **->** s3://my_bucket/my_key/

而预期的作业名称应该是 my_copy_job

感谢您的帮助！

注意： 当我使用此选项-Dmapred.job.name=my_copy_job 运行 hadoop distcp 时，它会在 yarn RM UI 中正确显示作业名称，但作业最终会失败

Answer 1

s3-dist-cp 不像hadoop distcp 那样支持在运行时设置的-D 样式属性。 S3 Distcp 仅接受here 列出的有限选项集。除了S3DistCp 定义的这些选项之外，它还接受Tool Interface's 通用选项。

但JobName 不是其中之一。 JobName 是 S3DistCp 代码中的 hardcoded，不能被覆盖。