Spark 主机：7077 无法访问答案

【问题标题】：Spark master-machine:7077 not reachableSpark 主机：7077 无法访问
【发布时间】：2016-11-28 04:10:45
【问题描述】：

我有一个 Spark Spark 集群，其中主节点也是工作节点。我无法从驱动程序代码节点访问主节点，并且出现错误：

14:07:10 WARN client.AppClient$ClientEndpoint: Failed to connect to master master-machine:7077

driver-code节点中的SparkContext配置为： SparkConf conf = new SparkConf(true).setMaster(spark:master-machine//:7077);

我可以成功ping master-machine，但我不能成功telnet master-machine 7077。这意味着机器可以访问但端口不可用。

可能是什么问题？我已经为主节点和驱动程序代码运行的节点（客户端）禁用了 Ubuntu 的 ufw 防火墙。

【问题讨论】：

【解决方案1】：

你的语法有点不对，你有：

setMaster(spark:master-machine//:7077)

你想要：

setMaster(spark://master-machine:7077)

来自 Spark 文档：

一旦启动，master会打印出spark://HOST:PORT URL 本身，您可以使用它来将工作人员连接到它，或者作为 SparkContext 的“主”参数。您也可以在 master的web UI，默认为http://localhost:8080。

您也可以在其中使用 IP 地址，我在基于 debian 的安装中遇到了问题，我总是必须使用 IP 地址，但这是一个单独的问题。一个例子：

spark.master            spark://5.6.7.8:7077

【讨论】：