Spark 不会在 AWS 集群上自动启动 - 如何启动它？答案

【问题标题】：Spark is not started automatically on the AWS cluster - how to launch it?Spark 不会在 AWS 集群上自动启动 - 如何启动它？
【发布时间】：2015-06-26 01:09:57
【问题描述】：

已使用 branch-1.4 代码库中的 ec2/spark-ec2 脚本启动了一个 spark 集群。我已经登录了。

我可以登录它 - 它反映了 1 个主，2 个从属：

11:35:10/sparkup2 $ec2/spark-ec2  -i ~/.ssh/hwspark14.pem  login hwspark14
Searching for existing cluster hwspark14 in region us-east-1...
Found 1 master, 2 slaves.
Logging into master ec2-54-83-81-165.compute-1.amazonaws.com...
Warning: Permanently added 'ec2-54-83-81-165.compute-1.amazonaws.com,54.83.81.165' (RSA) to the list of known hosts.
Last login: Tue Jun 23 20:44:05 2015 from c-73-222-32-165.hsd1.ca.comcast.net

       __|  __|_  )
       _|  (     /   Amazon Linux AMI
      ___|\___|___|

https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/
Amazon Linux version 2015.03 is available.

但是..他们在哪里？？唯一运行的 java 进程是：

Hadoop：NameNode 和 SecondaryNode
Tachyon：大师和工人

Spark Master 和 Workers 没有启动让我感到惊讶。在寻找手动启动它们的进程时，它们的位置并不明显。

提示

为什么 spark 没有自动启动

和

启动脚本所在的位置

将不胜感激。（同时我会做一个详尽的

 find / -name start-all.sh

而且.. 调查显示：

root@ip-10-151-25-94 etc]$ find / -name start-all.sh
/root/persistent-hdfs/bin/start-all.sh
/root/ephemeral-hdfs/bin/start-all.sh

这对我来说意味着什至没有安装火花？？

更新我想知道：这是 1.4.0 中的错误吗？我在 1.3.1 中运行了相同的命令集，然后 spark 集群出现了。

【问题讨论】：

标签： apache-spark

【解决方案1】：

在 spark 1.4.0 配置脚本中有一个 bug 由 spark-ec2 (https://github.com/mesos/spark-ec2/) 从 github 存储库克隆，具有类似的症状 - apache spark 尚未启动。原因是 - 配置脚本未能下载 spark 存档。

检查是否在主控主机ls -altr /root/spark 上下载并解压缩了火花，那里应该有几个目录。从您的描述来看，/root/spark/sbin/start-all.sh 脚本不见了 - 那里不见了。

还要检查文件cat /tmp/spark-ec2_spark.log 的内容，它应该有关于解压缩步骤的信息。

要尝试的另一件事是通过在 spark-ec2 命令行参数中添加 --spark-ec2-git-branch branch-1.4 来使用其他配置脚本分支运行 spark-ec2。

另外，当您运行 spark-ec2 时，保存所有输出并检查是否有可疑之处：

spark-ec2 <...args...> 2>&1 | tee start.log

【讨论】：

是的，这就是吸引我的地方。昨天大量时间消耗。请考虑支持这个问题。
我听到了。我花了两个晚上因为它 - 我正在研究另一个错误，他们已经更新了配置脚本以包含这个错误。