Spark - 从本地机器添加 Worker（独立 Spark 集群管理器）？

【问题标题】：Spark - Add Worker from Local Machine (standalone spark cluster manager)?Spark - 从本地机器添加 Worker（独立 Spark 集群管理器）？
【发布时间】：2015-06-20 03:26:16
【问题描述】：

在单台机器上运行 spark 1.4.0 时，我可以使用这个命令“./bin/spark-class org.apache.spark.deploy.worker.Worker myhostname:7077”添加worker。官方文档指出了另一种方式，将“myhostname:7077”添加到“conf/slaves”文件中，然后执行“sbin/start-all.sh”命令，该命令调用 conf/slaves 文件中列出的 master 和所有 worker。但是，后一种方法对我不起作用（出现超时错误）。谁能帮我解决这个问题？

这是我的 conf/slaves 文件（假设主 URL 是 myhostname:700）：

我的主机名：700

【问题讨论】：

标签： parallel-processing apache-spark

【解决方案1】：

conf.slaves 文件应该只是主机名列表，您不需要包含 spark 运行的端口号（我认为如果您这样做，它将尝试在该端口上进行 ssh，这可能是超时来自）。

【讨论】：

谢谢，霍尔顿。但是，在我删除端口后它仍然无法正常工作。这是我在从属文件中添加的全名“Tsung-Weis-MacBook-Pro.local”，但出现连接被拒绝错误。
你能发布命令和日志吗？当你 ssh 到那个主机时会发生什么？
如果您的连接被拒绝错误，我的猜测可能是您没有安装 ssh 服务器，所以我会安装 ssh 服务器并确保设置无密码（例如 ssh 密钥）基于访问。
谢谢霍尔顿。我终于解决了。我忘记为我的本地主机打开删除访问权限。现在可以了 :) 感谢您的帮助！