spark aws S3a ARN（亚马逊资源名称）IAM 角色

Question

我正在使用 spark 2.3.0 和 Hadoop 2.7（但如果需要我可以升级）

我希望使用 ARN（亚马逊资源名称）IAM 角色访问 S3 文件 https://docs.aws.amazon.com/cli/latest/userguide/cli-multiple-profiles.html

我已经看过这个How to access s3a:// files from Apache Spark?，但没有关于 IAM 访问的问题

public class test {

    public static void main(String[] args) {
        SparkSession sc = new SparkSession.Builder()
                .appName("test")
                .config("spark.master", "local[*]") //for example
                .config("spark.hadoop.fs.s3a.access.key", "****")
                .config("spark.hadoop.fs.s3a.secret.key", "****")
                // .config("spark.hadoop.fs.s3a.arn_role","arn:aws:iam::***:role/******"")
                .getOrCreate();

        sc.read().format("csv").load("s3a://toto/****.csv").printSchema();

    }
}

我没有找到任何选项或配置

我也在寻找在 spark 提交上带有 args 的解决方案，但不在配置文件中（这需要动态）

你有什么想法吗？

Answer 1

对 IAM 代入角色的显式支持是 S3A 代码 HADOOP-15141 中的一项非常新的功能，但仍不完全稳定 HADOOP-15583，因此您不会通过升级获得任何收益。

2.8 HADOOP-12537的会话凭证支持是什么

在这里，您需要以某种方式获取您的 IAM 角色的临时凭证（也许是 AWS CLI？如果没有，AWS SDK 的一点点可以让您做到这一点。想象一下 this code 和 this 的混合。

assumeRole 代码为您提供会话凭证集（访问密钥、秘密密钥、会话令牌），然后您需要在 spark 上下文中设置它，并将凭证提供者切换为临时提供者，如here 所述。

然后，您应该能够通过该 IAM 角色中的 spark 工作，直到会话到期（现在已延长至持续几个小时；直到 2018 年 3 月，它们只持续了几分钟）。

Hadoop 3.1+ 中的完整 IAM 角色支持让您可以声明 IAM 角色和任何额外的策略，并让连接器自动让您登录，然后定期刷新会话令牌。您不会拥有它，因此您的 spark 作业的持续时间不会超过您在启动时获得的凭据的生命周期。

Answer 2

如果您在 ec2 上运行 spark 并希望使用 IAM 角色，则无需更改代码，只需在 IAM 控制台中创建一个角色并分配给您的 ec2。在该实例上运行的所有内容都会继承角色权限。

如果您在 EMR 上运行，请在调用 EMR 集群 API 的 lambda 脚本中创建角色并指定角色 arn，通过 lambda 环境参数访问角色 arn。