如何在 Kubernetes 中将 Zeppelin 连接到 Spark Master答案

【问题标题】：How to connect Zeppelin to Spark Master in Kubernetes如何在 Kubernetes 中将 Zeppelin 连接到 Spark Master
【发布时间】：2018-09-29 09:48:26
【问题描述】：

我已经使用 helm chart incubator/Spark 在 Kubernetes 上安装了 Spark 和 Zeppeline

在 Zeppeline 解释器中，Spark 的 master 设置为 local[*] 然后，我改为 spark://ClusterIP_Spark_Master:7077

但是，解释器似乎无法连接到 Spark Master。

有什么解决办法吗？我需要导出 SPARK_HOME 吗？

谢谢

【问题讨论】：

标签： apache-spark kubernetes apache-zeppelin

【解决方案1】：

在 docker image apache/zeppelin 上安装 Spark 2.2.0 并将 SPARK_HOME 设置为 Spark 目录后，我将 url 更改为 spark://spark-master:7077。

Zeppelin 现在可以连接到我的 Spark 集群了。

The docker image 我使用安装在 /spark-2.2.0-bin-hadoop2.7 中的 spark 构建

【讨论】：

应该设置什么SPARK_HOME？我在另一台机器上有一个单独的 spark 集群，我应该在与 Zeppelin 相同的机器上安装 spark 吗？
SPARK_HOME 应该设置为您安装在 Zeppelin 机器上的 Spark。是的，你也应该这样做。
为什么Dockerfile在界面中看不到？？
@Angelito 图片是手动上传的，不是自动构建的。
我打算使用这种方法将我的本地 Zeppelin 连接到 EMR 主机，但它不起作用。我错过了什么？ spark://ec2-address:7070