为什么 Spark 集群上的 zeppelin 服务器没有响应？答案

【问题标题】：Why doesn't zeppelin server on spark cluster respond?为什么 Spark 集群上的 zeppelin 服务器没有响应？
【发布时间】：2015-09-27 05:17:31
【问题描述】：

我在本地模型和集群模型中安装了 zeppelin。他们都安装并连接成功。但是集群模型无法处理我的代码，尽管有 zeppelin 示例。它启动并挂起并运行了很长时间，然后每次都导致此错误：

java.util.concurrent.TimeoutException: Futures timed out after [10000 milliseconds]

然后我打开日志目录并打开我的 zeppelin-interpreter-spark-pipeline-lls6.log。我粘贴了错误日志信息：

错误 [2015-07-09 17:30:20,721] ({pool-1-thread-2} ProcessFunction.java[process]:41) - 内部错误处理 getProgress org.apache.zeppelin.interpreter.InterpreterException： java.util.concurrent.TimeoutException：期货在 [10000 之后超时毫秒] 在 org.apache.zeppelin.interpreter.ClassloaderInterpreter.open(ClassloaderInterpreter.java:76) 在 org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:68) 在 org.apache.zeppelin.interpreter.LazyOpenInterpreter.getProgress(LazyOpenInterpreter.java:109) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.getProgress(RemoteInterpreterServer.java:297) 在 org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Processor$getProgress.getResult(RemoteInterpreterService.java:938) 在 org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Processor$getProgress.getResult(RemoteInterpreterService.java:923) 在 org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39) 在 org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39) 在 org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)

例子bank-full.txt我移到了hdfs目录下，本地模型中没有出现同样的情况。

我们的集群是独立的。所有版本都是 spark-1.3 hadoop-2.0.0-CDH-4.5.0。在 conf 下，我添加了 Master url。有没有人遇到过这种情况，告诉我如何解决。

谢谢大家！

【问题讨论】：

标签： hdfs cluster-computing apache-zeppelin

【解决方案1】：

使用具有固定 IP 的 EMR 集群似乎是我的问题。在集群模型Hadoop中，Spark集群应该不同于zeppelin server。 MasterURL 应更改为，

export MASTER="spark://master_addr:7077"

并仔细检查绑定解释器到 zeppelin 服务器中。

export SPARK_HOME=XXX
export SPARK_CONF_DIR=XXX
export HADOOP_HOME=XXX
export HADOOP_CONF_DIR=XXX
export SPARK_YARN_JAR=XXX
export SPARK_CLASSPATH=XXX

【讨论】：