我已经安装了Hadoop 3.0.0。我现在应该安装 with-hadoop 还是 without-hadoop 版本的 Apache Spark from this page？
我正在关注 this guide 以开始使用 Apache Spark。
它说
下载最新版本的Apache Spark（根据预建 您的 Hadoop 版本）来自此链接：...
但我很困惑。如果我已经在我的机器上运行了一个 Hadoop 实例，然后我下载、安装并运行 Apache-Spark-WITH-Hadoop，它不会启动另一个额外的 Hadoop 实例吗？
【问题讨论】：
标签： apache-spark hadoop hadoop3
首先，据我所知，Spark 还不支持 Hadoop 3。您会注意到这一点，“您的 Hadoop 版本” 没有可供下载的选项。
你可以尝试在你的 spark-env.sh 中设置HADOOP_CONF_DIR 和HADOOP_HOME，不管你下载的是哪个。
如果您已经拥有 Hadoop，则应始终下载不带 Hadoop 的版本。
它不会启动另一个额外的 Hadoop 实例吗？
没有。您仍然需要显式配置和启动该版本的 Hadoop。
我相信那个 Spark 选项已经配置为使用包含的 Hadoop
【讨论】：
这是@cricket_007 的答案。
如果您安装了 Hadoop，请不要下载带有 Hadoop 的 spark，但是，由于任何版本的 spark 仍然不支持您的 Hadoop 版本，您需要下载带有 Hadoop 的版本。虽然，您需要在您的机器上配置捆绑的 Hadoop 版本才能运行 Spark。这意味着您在 Hadoop 3 上的所有数据都将丢失。因此，如果您需要此数据，请在开始降级/重新配置之前备份数据。由于某些环境变量，我认为您无法在同一系统上托管 2 个 Hadoop 实例。
【讨论】：