(Zeppelin + Livy) SparkUI.appUIAddress()，一定有问题答案

【问题标题】：(Zeppelin + Livy) SparkUI.appUIAddress(), something must be wrong(Zeppelin + Livy) SparkUI.appUIAddress()，一定有问题
【发布时间】：2018-06-13 01:11:54
【问题描述】：

我正在尝试按照以下文档使用 Zeppelin 配置 livy： https://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html

但是当我跑步时：

%livy.spark
sc.version

我收到以下错误：

java.lang.RuntimeException: No result can be extracted from 'java.lang.NoSuchMethodException: org.apache.spark.ui.SparkUI.appUIAddress()', something must be wrong

我使用 Zeppelin 0.7.3、Spark 2.2.1 和 Livy 0.4.0。 Spark 在 YARN (hadoop 2.9.0) 上运行。这是原版安装，我不使用 cloudera/HDP 之类的发行版。所有这些软件都在一台服务器上运行。

我可以使用 --master yarn 在 spark-shell 中运行示例 org.apache.spark.examples.SparkPi 没有任何问题。所以我确认 spark 在 YARN 上运行良好。

任何帮助将不胜感激。

谢谢， yusata。

【问题讨论】：

“在 YARN (hadoop 2.9.0) 上运行 Spark。” 你确定吗？！这是不可能的（我不是在谈论同样不受支持的 Hadoop 2.9.0 本身）。
是的，我很确定。 hdfs 版本和 spark sc.version 分别显示 2.9.0 和 2.2.1。此外，我可以使用 HDFS 中的 csv 文件从 spark-shell (--master yarn) 运行简单的计算。

标签： apache-spark hadoop apache-zeppelin livy

【解决方案1】：

这个问题是由 spark 2.2 中的方法折旧导致的。appUiAddress 在 spark 2.2 中不再存在。

正如您在此 PR https://github.com/apache/zeppelin/pull/2231 中看到的。这个问题已经解决了。

不知何故，您仍然遇到问题。我认为无论是降级 Spark 还是使用更新版本的 Zeppelin 都可以解决这个问题。

【讨论】：