【发布时间】：2016-09-23 09:32:32
【问题描述】：
我有一个激活了身份验证的 datastax 集群 4.8 (Cassandra + Spark)。我希望能够在我的集群上将notebook Zeppelin 与 Spark 主服务器和我的数据库 Cassandra 一起使用。
我下载了 Zeppelin 的二进制包 0.5.6。我把它放在我的服务器上。如果我使用默认配置启动它（./bin/zeppelin-daemon.sh start），它可以正常工作http://ServerName:8080/#/。
但是当我想使用我的 DSE spark master 时，结果输出是：
java.net.ConnectException：连接被拒绝 java.net.PlainSocketImpl.socketConnect(Native Method) 在 java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:344) 在 java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200) 在 java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182) 在 java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) 在 java.net.Socket.connect(Socket.java:579) 在 org.apache.thrift.transport.TSocket.open(TSocket.java:182) 在 org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:51) 在 org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:37) 在 org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java:60) 在 org.apache.commons.pool2.impl.GenericObjectPool.create(GenericObjectPool.java:861) 在 org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435) 在 org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:363) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient(RemoteInterpreterProcess.java:139) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreter.init(RemoteInterpreter.java:129) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getFormType(RemoteInterpreter.java:257) 在 org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType(LazyOpenInterpreter.java:104) 在 org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:198) 在 org.apache.zeppelin.scheduler.Job.run(Job.java:169) 在 org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:322) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 在 java.util.concurrent.FutureTask.run(FutureTask.java:262) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)
笔记本似乎无法连接到我通常使用的 spark-master
$> dse -u "用户名" -p "密码" spark
我不确定这是问题所在，但我不知道在哪里设置这些参数 xD。
有关信息，我将 /zeppelin-0.5.6-incubating-bin-all/conf/zeppelin-env.sh 设置为：
export MASTER=spark://ip_of_my_server:7077-
export ZEPPELIN_MEM=-Xmx5g正如Hello world in zeppelin failed 中提到的拉取请求ZEPPELIN-305 中所建议的那样（但我认为这不是问题，因为此请求已在0.5.6 中关闭） export SPARK_HOME=/usr/share/dse/spark包含：
垃圾箱
数据
库
蟒蛇
发布
sbin
火花作业服务器
我虽然在解释器界面的“master”字段中输入了“spark://ip_of_my_server:7077”。
那么你有什么想法可以解决我的问题并连接 DSE spark 和 zeppelin :)？
【问题讨论】：
-
我在 zeppelin-root-labgsd2t.out 中找到：
Failed to find Spark assembly in /usr/share/dse/spark/lib. You need to build Spark before running this program.那么你知道 DSE 的 Spark 组件在哪里吗？
标签： apache-spark connection datastax apache-zeppelin