使用修改后的 hadoop 配置文件运行 oozie 作业以支持 S3 到 HDFS答案

【问题标题】：Running oozie job using a modified hadoop config file to support S3 to HDFS使用修改后的 hadoop 配置文件运行 oozie 作业以支持 S3 到 HDFS
【发布时间】：2016-03-29 00:44:08
【问题描述】：

您好，我正在尝试使用 cp 命令将 S3 存储桶中的文件复制到 HDFS。我做类似的事情 Hadoop --config config fs -cp s3a://path hadooppath 当我的配置在我的本地时，这很有效。但是现在我正试图将其设置为一个 oozie 工作。因此，当我现在无法传递本地系统的 config 目录中存在的配置文件时。即使它在 HDFS 中，它似乎仍然不起作用。有什么建议吗？

我在 Hadoop 中尝试了 -D 命令并传递了名称和值对，但它仍然会引发一些错误。它仅适用于我的本地系统。

【问题讨论】：

欢迎来到 Stack Overflow！欢迎来到 Stackoverflow！您能否详细说明您的问题，例如代码或其他东西，以便人们可以及早解决您的问题并为您提供帮助？谢谢！

标签： hadoop oozie

【解决方案1】：

您在 oozie 中尝试过 DISTCP 吗？ Hadoop 2.7.2 将支持 S3 数据源。您可以通过协调员安排它。只需将凭据解析到 RESTAPI 或属性文件中的协调器即可。定期复制数据的简单方法（计划方式）。

${HADOOP_HOME}/bin/hadoop distcp s3://<source>/ hdfs://<destination>/

【讨论】：