如何将 Zeppelin 连接到从源代码构建的 Spark 1.5？答案

【问题标题】：How to connect Zeppelin to Spark 1.5 built from the sources?如何将 Zeppelin 连接到从源代码构建的 Spark 1.5？
【发布时间】：2015-11-24 11:40:15
【问题描述】：

我从 Spark 存储库中提取了最新的源代码并在本地构建。它可以在 spark-shell 或 spark-sql 等交互式 shell 中运行。

现在我想根据this install manual 将 Zeppelin 连接到我的 Spark 1.5。我将自定义 Spark 构建发布到本地 maven 存储库，并在 Zeppelin 构建命令中设置自定义 Spark 版本。构建过程成功完成，但是当我尝试在笔记本中运行 sc 之类的基本内容时，它会抛出：

akka.ConfigurationException：Akka JAR 版本 [2.3.11] 与提供的配置版本 [2.3.4] 不匹配

版本 2.3.4 设置在 pom.xml 和 spark/pom.xml 中，但简单地更改它们甚至不会让我获得构建。

如果我使用标准 -Dspark.vesion=1.4.1 重建 Zeppelin，一切正常。

【问题讨论】：

嗨，我知道你是 StackOverflow 的新手。如果您认为某个答案解决了问题，请单击绿色复选标记将其标记为“已接受”。这有助于将注意力集中在仍然没有答案的旧 SO。

标签： apache-spark apache-zeppelin apache-spark-1.5

【解决方案1】：

2016 年 1 月更新

Spark 1.6 支持有 landed to master 并在 -Pspark-1.6 配置文件下提供。

2015 年 9 月更新

Spark 1.5 支持有 landed to master 并在 -Pspark-1.5 配置文件下提供。

在 Apache Zeppelin（孵化）中支持 Spark 1.5 的工作是在此 PR apache/incubator-zeppelin#269 下完成的，很快就会借给大师。

目前，使用 -Pspark-1.5 从 Spark_1.5 分支构建应该可以解决问题。

【讨论】：