尝试在 EMR 上安装 Spark 时引导失败答案

【问题标题】：Bootstrap Failure when trying to install Spark on EMR尝试在 EMR 上安装 Spark 时引导失败
【发布时间】：2023-03-25 09:46:01
【问题描述】：

我正在使用此链接在 EMR（Amazon 上的 Elastic Map Reduce）上安装 Spark Cluster https://aws.amazon.com/articles/Elastic-MapReduce/4926593393724923

为了创建一个 Spark 集群，我运行了以下命令，我的集群每次都会遇到引导失败。我无法解决这个问题，如果有人能在这里帮助我，那就太好了。

aws emr create-cluster --name SparkCluster --ami-version 3.2 \
--instance-type m3.xlarge --instance-count 3 --ec2-attributes \
KeyName=MYKEY --applications Name=Hive --bootstrap-actions \
Path=s3://support.elasticmapreduce/spark/install-spark

已解决：使用此：

aws emr create-cluster --name SparkCluster --ami-version 3.7 \
--instance-type m3.xlarge --instance-count 3 --service-role \
EMR_DefaultRole --ec2-attributes \
KeyName=emr,InstanceProfile=EMR_EC2_DefaultRole \
--applications Name=Hive --bootstrap-actions \
Path=s3://support.elasticmapreduce/spark/install-spark

【问题讨论】：

错误图片pinterest.com/pin/429953095652592303>

标签： amazon-web-services apache-spark hadoop amazon-emr

【解决方案1】：

在给定用户的 SSH 密钥和 IAM 角色的情况下，对此用户有效的答案摘要（在 cmets 中来回折腾）：

aws emr create-cluster --name SparkCluster --ami-version 3.7 --instance-type m3.xlarge --instance-count 3 --service-role EMR_DefaultRole --ec2-attributes KeyName=emr,InstanceProfile=EMR_EC2_DefaultRole --applications Name=Hive --bootstrap-actions Path=s3://support.elasticmapreduce/spark/install-spark

可以在http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles-creatingroles.html 和http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles-launch-jobflow.html 找到有关 EMR IAM 角色的说明

【讨论】：

【解决方案2】：

您提供的链接中Spark with YARN on an Amazon EMR cluster 部分下的第 4 个 点说明如下：

将 KeyName 参数的“MYKEY”值替换为您要用于通过 SSH 连接到 EMR 集群主节点的 EC2 密钥对的名称。

据我所知，您没有为自己的 EC2 密钥名称更改 MYKEY 的值。您应该尝试将其值更改为您已经创建的现有 EC2 密钥名称。

如果您仍然没有密钥对，您可以创建以下几种方法，其中一种方法在此link 中进行了描述。

更新（来自下面的 cmets）

从您的图片看来，从 S3 下载引导操作文件似乎存在问题。我不确定问题的原因可能是什么，但您可能希望更改 AMI 并使用不同的 AMI 版本启动 EMR，例如 3.0。

【讨论】：

我已将 MYKEY 替换为我的 EC2 实例密钥对名称。我刚刚从教程链接中获取的命令。检查我的错误文件pinterest.com/pin/429953095652592303
我能够创建 Spark 集群，但这会导致 boostrap 错误。我在这里添加更多图片
ERROR BOOTSTRAP FAILURE pinterest.com/pin/429953095652593606 我也编辑了命令。谢谢
我尝试了 3.0、3.1 和 3.7 版本，但都进入引导错误。你能告诉我在 EMR 上运行 spark 的任何其他教程或方法吗？ pinterest.com/rakeshrsukla/ideas-for-big-data
不是 Amazon 存储桶，而是您正在使用的角色的策略。我看到您使用的是默认服务角色，请尝试使用默认 EMR 实例/配置文件，即“EMR_EC2_DefaultRole”而不是“emr”。

【解决方案3】：

在 EMR 中还有另一种方法可以直接启动 spark 集群。

第 1 步 - 转到 aws 中的 EMR 部分，然后单击创建集群。

第 2 步 - 转到配置中的引导操作并添加此行 s3://support.elasticmapreduce/spark/install-spark https://www.pinterest.com/pin/429953095652701745/

第 3 步 - 点击创建集群

您的集群将在几分钟内启动 :)

【讨论】：