Scala Spark 连接到远程集群答案

【问题标题】：Scala Spark connect to remote clusterScala Spark 连接到远程集群
【发布时间】：2017-04-26 09:41:58
【问题描述】：

我希望连接到远程集群并执行 Spark 进程。因此，根据我的阅读，这是在 SparkConf 中指定的。

 val conf = new SparkConf()
  .setAppName("MyAppName")
  .setMaster("spark://my_ip:7077")

其中 my_ip 是我的集群的 IP 地址。不幸的是，我的连接被拒绝。所以，我猜必须添加一些凭据才能正确连接。我将如何指定凭据？似乎可以使用 .set(key, value) 来完成，但对此没有任何线索。

【问题讨论】：

【解决方案1】：

缺少两件事：

集群管理器应设置为yarn (setMaster("yarn"))，部署模式为cluster，您当前的设置用于独立的 Spark。更多信息在这里： http://spark.apache.org/docs/latest/configuration.html#application-properties
另外，你需要从集群中获取yarn-site.xml和core-site.xml文件，放到HADOOP_CONF_DIR中，这样Spark就可以获取到yarn的设置，比如你的master节点的IP。更多信息：https://theckang.github.io/2015/12/31/remote-spark-jobs-on-yarn.html

顺便说一句，如果您使用spark-submit 提交作业，这将起作用，以编程方式实现它更复杂，并且只能使用远程设置很棘手的yarn-client 模式。

【讨论】：

【解决方案2】：

要使用 spark 在 yarn 中启动应用程序，您应该使用 --master yarn 作为您的 spark-submit 命令或在应用程序配置初始化中使用 setMaster("yarn")。
如果可以使用从远程主机发送"spark-submit"命令的情况，popuarJava Secure Channel (JSCH)当然应该在集群上正确设置环境参数

【讨论】：