【发布时间】：2013-08-13 17:49:16
【问题描述】：
除了复制到 HDFS 之外，是否可以只在 S3 的存储桶中获取一组对象以在 EMR 中进行处理？
我已经尝试过了，并且我不断收到没有凭据的安全警告（即使在我将它们添加到配置中之后）（这只是因为执行 new Path("s3n://...")）或运行 jar 告诉我，当我尝试使用 AWS sdk 访问我的存储桶时，我错过了 AWS sdk。
【问题讨论】：
-
您在使用 EMR 吗？如果是，S3 帐户是否在同一个 aws 帐户下？如果是，您不需要提供任何安全凭证。示例命令应如下所示：
ruby elastic-mapreduce --jobflow <id> --jar s3://<jar-location>/myJob.jar --arg s3://<input-path> --arg s3://<output-path> --step-name "My Job" -
@Amar 如果 S3 帐户不在同一个 aws 帐户下怎么办。在这种情况下如何指定安全凭证？
-
我不确定这是否可行，但试试这个：
s3://<access-key>:<secret-key>@<input-path>，类似s3://RYWX12N9WCY42XVOL8WH:Xqj1%2FNMvKBhl1jqKlzbYJS66ua0e8z7Kkvptl9bv@mybucket/dest
标签： hadoop amazon-s3 elastic-map-reduce