【发布时间】:2017-08-23 06:33:37
【问题描述】:
我即将在 Ubuntu 16.04 LTS 上安装 Apache Spark 2.1.0。我的目标是使用 Hadoop、Scala 和 Python(2.7 处于活动状态)的独立集群
下载时我得到了选择:为 Hadoop 2.7 及更高版本预构建(文件为 spark-2.1.0-bin-hadoop2.7.tgz)
这个包是否真的包含 HADOOP 2.7 还是需要单独安装(首先我假设)?
我安装了 Java JRE 8(其他任务需要)。由于 JDK 8 似乎也是先决条件,我还做了一个“sudo apt install default-jdk”,它确实显示为已安装:
default-jdk/xenial,现在 2:1.8-56ubuntu2 amd64 [已安装]
检查 java -version 但是不显示 JDK:
java版本“1.8.0_121” Java(TM) SE 运行时环境 (build 1.8.0_121-b13) Java HotSpot(TM) 64 位服务器 VM(内部版本 25.121-b13,混合模式)
这足以安装吗?为什么不显示JDK?
我想使用 Scala 2.12.1。此版本是否适用于 Spark2.1/Hadoop 2.7 组合,还是其他版本更适合?
是否还需要 Scala SBT 包?
一直在来回尝试让一切正常工作,但被困在这一点上。
希望有人能解释一下:)
【问题讨论】:
标签: java python scala ubuntu hadoop