如何从下载 Spark 页面的源代码构建 Spark？

Question

我尝试使用 Ubuntu 16.04 在 Ubuntu VM 上安装和构建 Spark 2.0.0，如下所示：

1. 安装 Java

   sudo apt-add-repository ppa:webupd8team/java
   sudo apt-get update       
   sudo apt-get install oracle-java8-installer
   

2. 安装 Scala

   转到他们网站上的下载标签：scala-lang.org/download/all.html

   我使用的是 Scala 2.11.8。

   sudo mkdir /usr/local/src/scala
   sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/
   

   修改.bashrc文件并包含scala的路径：

   export SCALA_HOME=/usr/local/src/scala/scala-2.11.8
   export PATH=$SCALA_HOME/bin:$PATH
   

   然后输入：

   . .bashrc
   

3. 安装 git

   sudo apt-get install git
   

4. 下载并构建 spark

   转至：http://spark.apache.org/downloads.html

   下载 Spark 2.0.0（从源代码构建 - 用于独立模式）。

   tar -xvf spark-2.0.0.tgz
   cd into the Spark folder (that has been extracted).
   

   现在输入：

   ./build/sbt assembly
   

   安装完成后，我收到消息：

   [成功]总时间：1940秒，完成...

   后跟日期和时间...

5. 运行 Spark 外壳

   bin/spark-shell
   

那时所有的地狱都崩溃了，我开始得到错误。我进入程序集文件夹以查找名为 target 的文件夹。但是那里没有这样的文件夹。汇编中唯一可见的内容是：pom.xml、README 和 src。

我在网上查了很长时间，但我一直找不到一个可以帮助解决错误的具体解决方案。有人可以就如何解决这个问题提供明确的分步说明吗？！？现在快把我逼疯了……(T.T)

错误截图：

Answer 1

如果您的目标是真的从您从http://spark.apache.org/downloads.html 下载的源代码构建您的自定义 Spark 包，您应该改为执行以下操作：

./build/mvn -Phadoop-2.7,yarn,mesos,hive,hive-thriftserver -DskipTests clean install

您可能需要阅读官方文档Building Spark。

NB 您不必安装 Scala 和 git 包来构建 Spark，因此您可以跳过“2.安装 Scala”和“3.安装 git”步骤。

Answer 2

在 spark 目录而不是在 build 目录中键入 sbt package。

Answer 3

由于某种原因，Scala 2.11.8 在构建时运行不佳，但如果我切换到 Scala 2.10.6，那么它可以正常构建。我想我首先需要 Scala 的原因是可以访问 sbt 以便能够构建 spark。构建完成后，我需要将自己引导到 spark 文件夹并输入：

build/sbt package

这将使用 Scala 2.11 为我构建缺少的 JAR 文件...有点奇怪，但这就是它的工作方式（我假设通过查看日志）。

再次构建 spark 后，键入：bin/spark-shell（在 spark 文件夹中），您将可以访问 spark shell。