启动火花主窗口 7答案

【问题标题】：Launch spark master windows7启动火花主窗口 7
【发布时间】：2017-05-28 05:32:42
【问题描述】：

使用win7-64、jdk8、sparks1.6.2。我有 spark running、winutils、HADOOP_HOME 等

根据文档注意：启动脚本当前不支持 Windows。要在 Windows 上运行 Spark 集群，请手动启动 master 和 worker。但是不说怎么做？

如何在 Windows 上启动 spark master？

尝试通过 git bash 运行 sh start-master.sh ：failed to launch org.apache.spark.deploy.master.Master: 即使它打印出 Master --ip Sam-Toshiba --port 7077 --webui-port 8080 - 所以我不知道这一切意味着什么。但是当我尝试spark-submit --class " " --master spark://Sam-Toshiba:7077 target/ .jar - 我收到错误： WARN AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0: 4040：java.net.BindException：地址已在使用：绑定 java.net.BindException：地址已在使用中

WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
17/01/12 14:44:29 WARN AppClient$ClientEndpoint: Failed to connect to master Sam-Toshiba:7077
java.io.IOException: Failed to connect to Sam-Toshiba/192.168.137.1:7077
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)

也试过 spark://localhost:7077 - 同样的错误

【问题讨论】：

标签： java apache-spark windows-7-x64

【解决方案1】：

在 Windows 上，您可以使用以下命令启动 Master。打开命令提示符并转到 Spark bin 文件夹并执行

spark-class.cmd org.apache.spark.deploy.master.Master

上述命令将根据您机器的 IP 在控制台中打印Master: Starting Spark master at spark://192.168.99.1:7077。你可以在http://192.168.99.1:8080/查看用户界面

如果您想在 master 启动后启动 worker，您可以使用以下命令。这将使用您机器的所有可用内核。

spark-class.cmd org.apache.spark.deploy.worker.Worker spark://192.168.99.1:7077

如果您想使用 4 核机器中的 2 核，请使用

spark-class.cmd org.apache.spark.deploy.worker.Worker -c 2 spark://192.168.99.1:7077

【讨论】：

我可以成功启动master，但是无法连接。 ` : 在 spark://192.168.137.1:7077. When I try connecting: >spark-submit --class " " --master spark://192.168.99.1:7077 target/~.jar 处启动 Spark master` WARN AppClient$ClientEndpoint:无法连接到主 192.168.99.1:7077 java.io.IOException：无法在 org.apache.spark.network.client.TransportClientFactory.createClient 连接到 /192.168.99.1:7077：java.net.ConnectException：连接超时：没有更多信息：当前活动的 SparkContext 是在以下位置创建的：（没有活动的 SparkContext。）
您的 spark 主 URL 是 spark://192.168.137.1:7077 但您将 spark://192.168.99.1:7077 传递给 spark-submit 命令。请检查。
抱歉搞砸了 - *是的，现在可以使用。仍然需要处理的其他一些错误：WARN SparkContext: Checkpoint directory must be non-local if S park is running on a cluster: file:/tmp/log-analyzer-streaming（它永远不会结束）
@Sam-T 你试过这个吗？ sc.setLogLevel("ERROR")sc.setCheckpointDir("/Users/Samt/CheckpointDirectory")