如何在 EC2 上启动 Spark 2.0

Question

随着今天 Spark 2.0 的发布，他们取消了对在 AWS 上启动 Spark EC2 集群的原生支持：

https://spark.apache.org/releases/spark-release-2-0-0.html#removals-behavior-changes-and-deprecations

Spark EC2 脚本已完全移至托管的外部存储库 由加州大学伯克利分校 AMPLab 提供

在 AMPLab GitHub 页面上，它包含以下说明：

https://github.com/amplab/spark-ec2/tree/branch-2.0#launching-a-cluster

进入 Apache Spark 发行版中的 ec2 目录 已下载。

问题是2.0下载中没有ec2文件夹。有人知道我如何在 EC2 中启动 Spark 2.0 集群吗？

提前致谢。

Answer 1

最后编辑

对于遇到此问题的任何人，答案都比较简单：here。

编辑 2

我在第一次编辑后意识到它稍微有点复杂，所以这里有一个新的编辑，供将来可能会发现它有用的任何人使用。

问题在于 Spark 不再提供 ec2 目录作为官方发行版的一部分。如果您习惯于以这种方式启动您的独立集群，那将是一个问题。

解决方法很简单：

1. 下载官方 ec2 目录，详见 Spark 2.0.0 文档。
2. 如果您只是将目录复制到 Spark 2.0.0 并运行 spark-ec2 可执行文件以模仿 Spark 1.* 中的工作方式，您将能够像往常一样启动集群。但是，当您 ssh 进入它时，您会发现不再存在任何二进制文件。
3. 所以，一旦你启动了你的集群（就像你通常在步骤 1 中下载的 spark-ec2 一样），你必须将包含 Spark 2.0.0 的本地目录 rsync创建的集群。完成此操作后，您可以像往常一样spark-submit 工作。

真的很简单，但在我看来，Spark 文档对我们所有的普通人来说都清楚这一点。

---

编辑：这实际上是正确的做法。对于任何有相同问题的人：像 Spark 建议的那样从 AMPLab 下载 ec2 目录，将此文件夹放在本地 Spark-2.0.0 目录中，然后像往常一样启动脚本。显然他们只是为了维护目的而解耦了目录，但逻辑仍然是一样的。如果能在 Spark 文档中谈一谈就好了。

---

我尝试了以下操作：将 spark-ec2-branch-1.6 目录从 AMPLab 链接克隆到我的 spark-2.0.0 目录中，并尝试使用通常的 ./ec2/spark-ec2 命令启动集群。也许这就是他们想要我们做的？

我正在启动一个 16 节点的小型集群。我可以在 AWS 仪表板中看到它，但终端在过去一直卡在打印通常的 SSH 错误......将近两个小时。

Warning: SSH connection error. (This could be temporary.) Host: ec2-54-165-25-18.compute-1.amazonaws.com SSH return code: 255 SSH output: ssh: connect to host ec2-54-165-25-18.compute-1.amazonaws.com port 22: Connection refused

如果我发现任何有用的东西会更新。

Answer 2

Amplab Spark-ec2 根据他们的 github repo 页面不再维护。您可以使用flintrock 而不是AWS EC2 创建火花集群。

Answer 3

您需要从here 下载所有资源。请注意，我提供了 2.0 github 分支。可以在上一个链接中找到有关如何运行的说明，here 是我写的一篇关于可以简化您的生活的主题的博文。

希望我能提供帮助！ :)