在亚马逊 emr 上部署的 apache spark答案

【问题标题】：apache spark deploying on amazon emr在亚马逊 emr 上部署的 apache spark
【发布时间】：2018-04-04 04:06:50
【问题描述】：

我的命令：

aws emr add-steps --cluster-id j-10366NQM2PJDC --steps Type=spark,Name=SparkWordCountApp,Args=[--deploy-mode,cluster,--master,yarn,--conf,spark.yarn.submit.waitAppCompletion=false,--num-executors,5,--executor -cores,5,--executor-memory,20g,s3://wordCount.py,s3://input-bucket/inputFile.txt,s3://output-bucket/],ActionOnFailure=CONTINUE

调用时发生错误 (AccessDeniedException) AddJobFlowSteps 操作：用户： arn:aws:sts::503059920414:假定角色/EMR_EC2_DefaultRole/i-052a3cd61db3879d9 无权执行：elasticmapreduce:AddJobFlowSteps on 资源： arn:aws:elasticmapreduce:us-east-2:503059920414:cluster/j-10366NQM2PJDC

有人可以对此有任何指示吗？我是新来的火花。

【问题讨论】：

您正在使用其访问密钥和密钥的用户是否可以访问 EMR 服务？
是的。我可以通过 GUI 提交作业，但不能通过命令行。

标签： apache amazon-web-services

【解决方案1】：

您似乎正在使用您的实例配置文件角色 EMR_EC2_DefaultRole 调用 EMR 以将 STEPS 添加到集群。该错误意味着，您的实例配置文件角色的 policy 不允许访问 elasticmapreduce:AddJobFlowSteps 的 Action 执行此操作。事实上，附加到此角色AmazonElasticMapReduceforEC2Role 的默认托管策略将没有此访问权限。

因此，您需要为您的角色 EMR_EC2_DefaultRole 设置add 策略以允许 elasticmapreduce:AddJobFlowSteps 操作。

【讨论】：