为 S3 提供基于 Hadoop/Spark IAM 角色的访问的正确方法是什么？答案

【问题标题】：What's the right way to provide Hadoop/Spark IAM role based access for S3?为 S3 提供基于 Hadoop/Spark IAM 角色的访问的正确方法是什么？
【发布时间】：2017-07-03 14:50:06
【问题描述】：

我们在 EC2 上运行 Hadoop 集群，并且 EC2 实例附加到一个可以访问 S3 存储桶的角色，例如：“stackoverflow-example”。

有几个用户在集群中放置 Spark 作业，我们过去使用过密钥但不想继续并希望迁移到角色，因此放置在 Hadoop 集群上的任何作业都将使用与 ec2 实例关联的角色。查了很多，发现有10+张票，有的还在开，有的已经固定，有的没有cmet。

想知道是否仍然可以将 IAM 角色用于放置在 Hadoop 集群上的作业（Spark、Hive、HDFS、Oozie 等）。大多数教程都在讨论传递密钥（fs.s3a.access.key，fs.s3a.secret.key），这不够好，也不安全。我们还遇到了与 Ambari 的凭据提供程序有关的问题。

一些参考资料：

https://issues.apache.org/jira/browse/HADOOP-13277

https://issues.apache.org/jira/browse/HADOOP-9384

https://issues.apache.org/jira/browse/SPARK-16363

【问题讨论】：

您是使用 EMR 运行集群还是管理自己，只是 IAM 角色与 EMR 服务完美配合？

标签： hadoop apache-spark amazon-s3 amazon-ec2 amazon-iam

【解决方案1】：

您链接到 HADOOP-13277 的第一个说“我们可以拥有 IAM 吗？” JIRA 被关闭的对象“你在 s3a 中有这个”。第二个，HADOOP-9384，是“将 IAM 添加到 S3n”，关闭为“切换到 s3a”。还有 SPARK-16363？不完整的错误报告。

如果您使用 S3a，并且不设置任何机密，那么 s3a 客户端将回退到查看特殊的 EC2 实例元数据 HTTP 服务器，并尝试从那里获取机密。

它：它应该可以工作。

【讨论】：