远程连接 Spark 集群答案

【问题标题】：Connecting to Spark cluster remotely远程连接 Spark 集群
【发布时间】：2017-04-15 03:57:02
【问题描述】：

我正在尝试使用 Java 程序从本地系统连接到 spark 主节点（远程集群节点）。我正在使用以下 API 进行连接：

    SparkConf conf = new SparkConf().setAppName("WorkCountApp").setMaster("spark://masterIP:7077");
 JavaSparkContext sc = new JavaSparkContext(conf);

我的程序尝试连接到主服务器，但一段时间后失败。下面是堆栈跟踪：

  16/11/30 17:40:26 INFO AppClient$ClientActor: Connecting to master akka.tcp://sparkMaster@ec2-54-202-212-141.us-west-2.compute.amazonaws.com:7077/user/Master...
    16/11/30 17:40:46 ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
    16/11/30 17:40:46 WARN SparkDeploySchedulerBackend: Application ID is not initialized yet.
    16/11/30 17:40:46 INFO SparkUI: Stopped Spark web UI at http://172.31.11.1:4040
    16/11/30 17:40:46 INFO DAGScheduler: Stopping DAGScheduler
    16/11/30 17:40:46 INFO SparkDeploySchedulerBackend: Shutting down all executors
    16/11/30 17:40:46 INFO SparkDeploySchedulerBackend: Asking each executor to shut down
    16/11/30 17:40:46 ERROR OneForOneStrategy: 
    java.lang.NullPointerException
java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext
    at org.apache.spark.SparkContext.org$apache$spark$SparkContext$$assertNotStopped(SparkContext.scala:103)

请帮帮我

【问题讨论】：

标签： java apache-spark bigdata

【解决方案1】：

连接失败的原因有很多。然而，对于这个，看起来没有为这个 Spark master 实例化的工作线程。

在远程机器上你需要启动 spark master 以及 spark worker (slave)

【讨论】：