docker zeppelin 上的 docker spark？答案

【问题标题】：docker spark on docker zeppelin?docker zeppelin 上的 docker spark？
【发布时间】：2020-02-29 11:27:31
【问题描述】：

我是 docker 新手
对 docker 容器的概念有点困惑

我正在尝试在 zeppelin 上使用以下网站的 spark
https://github.com/big-data-europe/docker-spark

这个网站我下载了zeppelin docker容器
https://www.youtube.com/watch?v=6dokFasXyQw&t=2s

现在我有了这个 docker 容器

1a8030d60105        bde2020/spark-worker:2.4.4-hadoop2.7   "/bin/bash /worker.sh"   13 days ago         Exited (137) 12 days ago    8081/tcp            spark-worker-1 <br/>
efbf74de4e87        bde2020/spark-master:2.4.4-hadoop2.7   "/bin/bash /master.sh"   13 days ago         Exited (137) 2 days ago                         spark-master <br/>

76fa0e88ad99        dylanmei/zeppelin:latest               "bin/zeppelin.sh"        2 weeks ago         Exited (143) 15 hours ago                       zeppelin <br/>

如果我想要齐柏林飞艇图像上的火花大师或工人，我应该怎么做，我应该知道哪个概念？有什么好的文档或教程可以做到这一点吗？

我一直在寻找，但我猜“纱线”是正确的，但不确定请给我指路

【问题讨论】：

是的，您可以使用 spark master url 在 Zeppelin 中添加 spark Interpreter。
那么我有一些如何将 zeppelin 容器和 spark 容器连接在一起的方法吗？我的容器概念对吗？纱线呢？

标签： docker apache-spark apache-zeppelin

【解决方案1】：

您好，如果您打算使用 zeppelin https://www.youtube.com/watch?v=6dokFasXyQw&t=2s，zeppelin docker 映像带有内置 spark 。您不必从 https://github.com/big-data-europe/docker-spark 启动 docker。如果您想指向不同的 spark 集群，则需要更改 zeppelin zeppelin-env.sh 的主配置。如果您定义了您要达到的目标，这将有助于获得解决方案。

【讨论】：

嗨，谢谢你的回答。只是想知道我上面的想法是一个可能的概念。
是的，可以将 zeppelin 指向不同的 spark 集群，但如果您只想在 zeppelin 上运行 spark 代码进行学习/测试，那么您只需要 zeppelin 即可