【问题标题】:Apache Spark: Pre requisite questionsApache Spark:先决条件问题
【发布时间】:2017-08-23 06:33:37
【问题描述】:

我即将在 Ubuntu 16.04 LTS 上安装 Apache Spark 2.1.0。我的目标是使用 Hadoop、Scala 和 Python(2.7 处于活动状态)的独立集群

下载时我得到了选择:为 Hadoop 2.7 及更高版本预构建(文件为 spark-2.1.0-bin-hadoop2.7.tgz)

  • 这个包是否真的包含 HADOOP 2.7 还是需要单独安装(首先我假设)?

  • 我安装了 Java JRE 8(其他任务需要)。由于 JDK 8 似乎也是先决条件,我还做了一个“sudo apt install default-jdk”,它确实显示为已安装:

default-jdk/xenial,现在 2:1.8-56ubuntu2 amd64 [已安装]

检查 java -version 但是不显示 JDK:

java版本“1.8.0_121” Java(TM) SE 运行时环境 (build 1.8.0_121-b13) Java HotSpot(TM) 64 位服务器 VM(内部版本 25.121-b13,混合模式)

这足以安装吗?为什么不显示JDK?

  • 我想使用 Scala 2.12.1。此版本是否适用于 Spark2.1/Hadoop 2.7 组合,还是其他版本更适合?

  • 是否还需要 Scala SBT 包?

一直在来回尝试让一切正常工作,但被困在这一点上。

希望有人能解释一下:)

【问题讨论】:

    标签: java python scala ubuntu hadoop


    【解决方案1】:

    你需要安装 hadoop-2.7 到你正在安装的任何东西。

    Java 版本没问题。

    上述配置应适用于 scala 2.12.1。

    【讨论】:

    • 您好,感谢您的回答... Hadoop 2.8.0 也可以吗?我已经安装了 SBT,是否还需要为 Spark 安装 Scala 2.12.1(想要使用二进制文件,而不是编译)。再次感谢!
    猜你喜欢
    • 2016-11-02
    • 2016-05-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-08-22
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多