在 EMR (MapReduce) 中处理加密的 S3 文件

【问题标题】：Process Encrypted S3 File in EMR (MapReduce)在 EMR (MapReduce) 中处理加密的 S3 文件
【发布时间】：2015-11-24 09:40:45
【问题描述】：

我有一个在 EMR 中执行的简单 MapReduce 作业。输入文件使用 AES 密钥加密并存储在 S3 中。

如何配置我的 MapReduce 作业以在将 S3 文件传递给映射器之前对其进行解密？

【问题讨论】：

【解决方案1】：

调用 AmazonS3EncryptionClient 而不是 AmazonS3Client

【讨论】：

在 MapReduce 中？我只是将输入位置添加到作业配置中。如何选择要使用的客户端或将 AES 密钥传递给作业？
您是否为要运行的作业创建了 IAM 角色？referRunJobFlowRequest runFlowRequest = new RunJobFlowRequest().withServiceRole("someRole").withJobFlowRole("someJobFlow")

【解决方案2】：

这可以在 EMR 集群级别进行配置。例如，如果您在 S3 上使用客户端加密，则可以指定 kms 密钥 ID in the emrfs-site.xml file。 AWS Console 和 awscli 也有相应的支持。

【讨论】：