如何从不属于集群的机器启动 spark shell 或提交 spark 作业？答案

【问题标题】：How do I start spark shell or submit a spark job from a machine that is not part of the cluster?如何从不属于集群的机器启动 spark shell 或提交 spark 作业？
【发布时间】：2015-03-09 08:06:39
【问题描述】：

我有一个由 4 个 DSE 4.6 节点组成的集群，其中 Cassandra/Spark 处于独立模式，提交作业以触发或从其中一个集群节点打开 spark shell 工作正常。我现在想做的是能够从不属于集群的机器上打开 spark shell，所以我在新机器上安装了 DSE，但是当我尝试运行时

$ SPARK_MASTER=spark://MASTER_NODE dse spark

我收到一堆连接错误，看起来好像 spark shell 正在尝试连接到 localhost。

Spark 中是否存在限制运行 shell 或仅从属于集群成员的节点提交作业的固有限制？

【问题讨论】：

标签： apache-spark datastax-enterprise datastax

【解决方案1】：

您使用的是哪个版本的 Spark？

尝试将 SPARK_MASTER 更改为 MASTER

我经常跑步

MASTER=spark://servername:7077 ./bin/spark-shell

一切都很好。

【讨论】：

我使用的是 DSE 4.6，刚刚尝试设置 MASTER，同样的错误：java.io.IOException: Failed to retrieve RMIServer stub: javax.naming.ServiceUnavailableException [Root exception is java.rmi.ConnectException: Connection refused to host: localhost
你可以连接到任何其他服务上的主机。该错误表明某些事情正在阻止您连接到服务（端口未对您的 ip 开放等）

【解决方案2】：

好的，我找到了我的问题（实际上是两个）：

我在“客户端”机器上安装了不同的 JDK
指定master的正确方法是dse spark --master spark://MASTER_ADDRESS:7077

现在一切正常。

【讨论】：