【问题标题】:Zeppelin 0.7.2 version does not support spark 2.2.0Zeppelin 0.7.2 版本不支持 spark 2.2.0
【发布时间】:2018-01-29 01:31:26
【问题描述】:

如何降级spark版本?其他解决方案可能是什么?我必须使用 spark session 连接我的 hive 表来触发。但是zeppelin不支持spark版本。

【问题讨论】:

  • 您使用的是哪个版本的 Spark 和 Zeppelin?降级 Spark 将需要您获取包并更新路径。在降级 spark 时检查其他依赖项。

标签: apache-spark hive apache-zeppelin livy


【解决方案1】:

这里有两个原因。

[1] Zeppelin 0.7.2 将 spark 2.2+ 标记为不受支持的版本。

https://github.com/apache/zeppelin/blob/v0.7.2/spark/src/main/java/org/apache/zeppelin/spark/SparkVersion.java#L40

public static final SparkVersion UNSUPPORTED_FUTURE_VERSION = SPARK_2_2_0;

[2] 即使您更改 const 并再次构建,您也可能无法使用 Spark 2.2 运行 Zeppelin 0.7.2

Spark 放弃了对 Java 7 的支持,而 Zeppelin 0.7.2 是使用 JDK 7 构建的。因此您需要使用 JDK 8 重新构建它。

您可以使用的一种解决方法是,在 spark 解释器(针对 2.2)中指定 JAVA_HOME,如下所述

因为只有 spark 解释器(用于 2.2)需要 java 8 而 Zeppelin 不需要它。

总之

  1. 如果您想在 Zeppelin 分支 0.7 上触发 2.2,请修改 here 并重建
  2. 并使用 JDK 8 作为 spark 解释器。

【讨论】:

  • 您能解释一下解决方法吗?我下载了所有 0.7.2 的 zeppelin,但在他们的教程中出现“不支持 Spark 2.2.0”的错误(令人沮丧!)。 Apache Zeppelin 正式支持 Oracle JDK 1.7,我有 1.8。在图片中,您将 JAVA_HOME 链接到 jdk 1.8 中的某个目录(我的机器上不存在)。
  • 您好,支持 spark 2.2 的 0.7.3 将在几天后发布。我想你可以使用它。
  • 谢谢,在那种情况下,我会等待发布,因为这让我发疯。当zeppelin的教程无法运行时,绝对不是很好的用户体验
  • 0.7.2 内置支持 2.1 而不是 2.2 所以你可以运行教程(我用 0.7.2 bin-all 检查过)github.com/apache/zeppelin/blob/v0.7.2/spark-dependencies/…
  • 以上问题是关于自定义spark,不是内置的。
【解决方案2】:

Zeppelin 0.7.2 版本支持 spark 2.1.0。

【讨论】:

    猜你喜欢
    • 2018-01-12
    • 1970-01-01
    • 2012-12-01
    • 1970-01-01
    • 2015-03-20
    • 2020-10-04
    • 2018-03-11
    • 2022-11-30
    • 2017-01-04
    相关资源
    最近更新 更多