如何在 EMR 中从 s3 读取文件？答案

【问题标题】：How to read a file from s3 in EMR?如何在 EMR 中从 s3 读取文件？
【发布时间】：2014-08-02 19:10:12
【问题描述】：

我想在我的 EMR Hadoop 作业中从 S3 读取文件。我正在使用自定义 JAR 选项。

我尝试了两种解决方案：

我没有掌握的是我是从控制台开始工作的，所以显然我应该拥有必要的权限。但是，映射器可用的环境变量 (System.getenv()) 中缺少 AWS_*_KEY 键。

我确定我做错了什么，只是不确定是什么。

【问题讨论】：

【解决方案1】：

可能有点晚了，但是... 对 AmazonS3Client 使用 InstanceProfileCredentialsProvider。

【讨论】：

【解决方案2】：

我认为您的 EMR 集群需要能够访问 S3，您可以为您的 EMR 集群创建一个 IAM 角色并为其授予对 S3 的访问权限。检查此链接：http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles.html

【讨论】：

【解决方案3】：

我认为语法是

hadoop jar your.jar com.your.main.Class -Dfs.s3n.awsAccessKeyId=<access-id> -Dfs.s3n.awsSecretAccessKey=<secrect-key>

那么你希望读取的公共前缀的路径应该是格式

s3n://bucket-name/common/prefix/path

【讨论】：