AWS Glue 等效于 EMRFS 角色映射

Question

在 EMR 中，您可以通过 EMRFS 角色映射指定读取/写入 S3 的操作将根据 S3 URL 代入不同的 IAM 角色。这对于从同一账户中的存储桶读取，并写入另一个账户中的存储桶的用例特别有用 - EMRFS 允许您指定使用不同的角色进行读取和写入操作，并且角色可以在不同的帐户。当您在另一个帐户中写入对象时，这简化了权限处理，avoiding this scenario

胶水作业的等价物是什么？看起来我只能为整个工作授予一个角色，而且我看不到为不同的 S3 存储桶/前缀承担不同角色的方法。 Glue 中有安全配置，与 EMR 一样，但看起来这些只支持加密选项。

Answer 1

Glue 中没有这样的东西。

但是，由于 S3 支持 assuming object ownership，EMRFS 角色映射不再那么重要了。

EMRFS 的主要用途是在写入操作时在与存储桶所有者相同的账户中担任角色，以确保创建的对象归存储桶所有者所有。

现在，您可以简单地授予跨账户权限以读取/写入存储桶，将 S3“对象所有权”配置设置为“首选存储桶所有者”，并且客户端将“存储桶所有者完全控制”ACL 设置为新的对象。后者可以通过 Spark session 完成。