使用 Zookeeper Quorum 设置 Spark 集群的 HA答案

【问题标题】：HA setup of Spark Cluster using Zookeeper Quorum使用 Zookeeper Quorum 设置 Spark 集群的 HA
【发布时间】：2016-09-06 13:14:53
【问题描述】：

我们正在尝试使用 ZK 设置 Spark HA 设置。我们有 2 台机器用于 Spark 进程的 Master 和另外 3 台用于 Spark Slaves 的机器在 spark-env.sh 中完成 Spark HA 的 Master Machine 中的配置如下：

 # - SPARK_DAEMON_JAVA_OPTS, to set config properties for all daemons (e.g. "-Dx=y")

    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=DEV-SMP-Manager01:2181DEV-SMP-Worker01:2181,DEV-SMP-Worker05:2181"

其中 DEV-SMP-Manager01:2181DEV-SMP-Worker01:2181,DEV-SMP-Worker05:2181 是 ZK Quorum。他们已经启动并运行了。

当我们使用命令 sbin/start-master.sh 启动 master(s) 时，

我们看到了一些与curator相关的错误信息

java.lang.NoClassDefFoundError: org/apache/curator/RetryPolicy atstorm.kafka.KafkaSpout.open(KafkaSpout.java:85) at backtype.storm.daemon.executor$fn__3373$fn__3388.invoke(executor.clj: 522) 在 backtype.storm.util$async_loop$fn__464.invoke(util.clj:461) 在 clojure.lang.AFn.run(AFn.java:24) 在 java.lang.Thread.run(Thread.java:745) ) 引起：java.lang.ClassNotFoundException: org.apache.curator.RetryPolicy at java.net.URLClassLoader$1.run(URLClassLoader.java:372) at java.net.URLClassLoader$1.run(URLClassLoader.java:361) at java.security.AccessController.doPrivileged(Native Method) 在 java.net.URLClassLoader.findClass(URLClassLoader.java:360) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:424) 在 sun.misc.Launcher$AppClassLoader。 loadClass(Launcher.java:308) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 5 更多

使用的版本：- 火花-火花-1.6.1 ZK - 3.4.6

【问题讨论】：

标签： apache-spark apache-zookeeper high-availability apache-curator

【解决方案1】：

请尝试通过在您的 spark-env.sh 文件中添加以下内容来在类路径中添加 curator-client jar：

SPARK_CLASSPATH="$SPARK_CLASSPATH:/path/to/curator-client.jar"

【讨论】：

是的 Rakesh，在我发布它之后，我添加了相同的下载 jars，然后问题解决了。谢谢。
请接受答案，以便论坛中的其他人可以使用我的答案下方的勾号从中受益。谢谢。
嗨 Rakesh，你能看到我的新问题吗...与标题相同...所以我编辑了描述...有什么想法吗？
苏曼，请将描述更改为旧的并创建一个新问题。 stackoverflow 版主可能对此有异议。
另外，您的问题不会被其他人看到，因为答案已被接受。