在 AWS EC2 上添加新的 Spark 工作人员 - 访问错误答案

【问题标题】：Adding new Spark workers on AWS EC2 - access error在 AWS EC2 上添加新的 Spark 工作人员 - 访问错误
【发布时间】：2015-06-05 04:34:21
【问题描述】：

我有使用 spark-ec2 脚本启动的现有运行 Spark 集群。我正在尝试按照说明添加新的从站：

虽然新实例被添加到同一个安全组，并且我可以使用相同的私钥成功地 SSH 到它，但由于某种原因，spark-ec2 ... start 调用无法访问这台机器：

在所有集群节点上运行 setup-slave 以挂载文件系统等...

[1] 00:59:59 [失败] xxx.compute.amazonaws.com

以错误代码 255 Stderr 退出：权限被拒绝（公钥）。

显然，在尝试在此实例上部署 Spark 内容时会出现大量其他错误。

原因是Spark Master机器没有rsync这个新slave的访问权限，但是22端口是开放的……

【问题讨论】：

【解决方案1】：

问题是 Spark Master 上生成的 SSH 密钥没有传输到这个新的 slave。带有start 命令的 Spark-ec2 脚本省略了这一步。解决方案是使用带有--resume 选项的launch 命令。然后将 SSH 密钥转移到新的从站，一切顺利。

另一种解决方案是将master的公钥（~/.ssh/id_rsa.pub）添加到新添加的slave~/.ssh/authorized_keys。（在 Spark 邮件列表中获得此建议）

【讨论】：