【问题标题】:error 403 while creating emr cluster using my reducer and mapper?使用我的减速器和映射器创建 emr 集群时出现错误 403?
【发布时间】:2019-06-23 05:15:30
【问题描述】:

我正在尝试使用我的存储桶为 EMR 提供参数以创建集群,因为它给了我“对此对象的所有访问权限已被禁用(服务:Amazon S3;状态代码:403;错误代码:AllAccessDisabled ;"

我已经使用了我的 Reducer 和 Mapper python 文件,并且我的存储桶的权限也是公开的

我的 mapper 和 reducer 文件有问题还是我在这里遗漏了一个技巧

【问题讨论】:

  • 您是否可以提供任何代码或配置来显示您的尝试?
  • #!/usr/bin/env python import sys # 输入来自标准输入(标准输入) for line in sys.stdin: # 它为我们的第一步修剪空白 line = line.strip( ) #Words 现在更像是一个单词数组 words = line.split() # 增加 word in words 的计数器: # 将结果写入 STDOUT(标准输出); # 我们在这里输出的将是 # Reduce 步骤的输入,即 reducer.py 的输入 # # tab-delimited;琐碎的字数是 1 print '%s\t%s' % (word, 1)

标签: amazon-web-services amazon-emr


【解决方案1】:

确保您已为 EMR 集群分配了具有足够 S3 访问权限的 IAM 角色。 IAM 使您能够向用户、组或资源(例如您的 EMR 集群,在这种情况下)授予权限,以便能够访问 AWS 中的其他服务或资源(例如 S3,它当前给您一个拒绝访问错误)。

通过 EMRFS 执行此操作:

  • 导航到 EMR 控制台
  • 点击安全配置(左侧菜单)
  • 向下滚动到 EMRFS 的 IAM 角色
  • 启用对 Amazon S3 的 EMRFS 请求使用 IAM 角色
  • 添加角色映射
    • 选择所需的 IAM 角色(管理员)
    • 选择您喜欢的任何访问基础(用户、组或 S3 存储桶名称前缀)

这是它在控制台中的样子:

更多信息请参见此处的文档:https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles.html https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-emrfs-iam-roles.html

【讨论】:

  • 什么角色?我很困惑对不起
  • 为答案添加了更多上下文
猜你喜欢
  • 1970-01-01
  • 2021-03-11
  • 2014-09-20
  • 1970-01-01
  • 1970-01-01
  • 2014-08-31
  • 1970-01-01
  • 1970-01-01
  • 2023-03-12
相关资源
最近更新 更多