【发布时间】：2013-08-10 02:18:37
【问题描述】：
我想以编程方式将作业输出从 EMR 集群复制到 Amazon S3。
如何在java代码中使用S3DistCp来做同样的事情。
【问题讨论】：
-
您好，欢迎您。我认为这个问题对于 SO 的这一部分可能有点宽泛。考虑修改或发布到讨论区之一。
标签： java hadoop amazon-s3 amazon-emr
【发布时间】：2013-08-10 02:18:37
【问题描述】：
hadoop ToolRunner 可以运行这个.. 因为S3DistCP extends Tool
以下是使用示例：
导入 org.apache.commons.logging.Log； 导入 org.apache.commons.logging.LogFactory； 导入 org.apache.hadoop.util.ToolRunner； 导入 com.amazon.external.elasticmapreduce.s3distcp.S3DistCp 公共类 CustomS3DistCP{ 私有静态最终日志日志 = LogFactory.getLog(CustomS3DistCP.class); 公共静态 void main(String[] args) 抛出异常 { log.info("使用 args 运行：" + args); System.exit(ToolRunner.run(new S3DistCp(), args)); }你的类路径中必须有 s3distcp jar 您可以从 shell 脚本调用此程序。
希望有帮助！
【讨论】：
-
我知道这个答案有点晚了！但它是如何解决这种方法的。这就是为什么想到放在这里。 @user2664210 请确认。