zeppelin 独立用于学习 hdfs 和 spark 我需要安装什么？

Question

我不得不说我有点搞混了，我没有超过 apache zeppelin documentation 并且我有以下问题。

我的最终目标是让本地 zeppelin 与本地 hdfs 和本地 spark 一起工作，以进行简单的练习，所需的安装最少。

问题

1. zeppelin 安装是否足够？是否包含本地hdfs、spark的组件？
2. 如果不是，我还需要安装什么才能拥有本地 spark 和 hdfs？
3. 我需要安装本地 hdfs（假设我想使用 hdfs）吗？我是否需要安装本地 spark（假设我想使用本地 spark）。

谢谢

Answer 1

安装 Zeppelin，看看它是否带有 Spark 解释器。

我认为是的，我知道the documentation covers its configuration。解释器不是 Spark 的安装，只是用于启动外部程序进程的配置。

是的，如果您想要 HDFS，则需要设置和安装 Hadoop。但是，由于您使用的是单台计算机，因此不需要它，Spark 代码对本地磁盘的工作方式相同。

我知道我见过至少将 Zeppelin 和 Spark 捆绑在一起的 Docker 容器。

或者，您可以使用 Hortonworks Sandbox VM，它已经为您完成了所有设置。