在 Spark 集群和 YARN 上运行的 Apache Zeppelin答案

【问题标题】：Apache Zeppelin running on Spark Cluster and YARN在 Spark 集群和 YARN 上运行的 Apache Zeppelin
【发布时间】：2017-04-16 11:51:30
【问题描述】：

我在 Apache Zeppelin 中创建并运行了一个 %pyspark 程序，该程序运行在带有 yarn-client 的 Spark 集群上。该程序正在从 HDFS 读取 Dataframe 中的文件，并执行一个简单的 groupby 命令并成功打印输出。我正在使用 Zeppellin 版本 0.6.2 和 Spark 2.0.0。

我可以看到在 YARN 中运行的作业（参见 application_1480590511892_0007）：

但是当我同时检查 Spark UI 时，这项工作根本没有任何内容：

问题 1：这个工作不应该出现在这两个窗口中吗？

此外，上面 SparkUI 图像中已完成的应用程序是带有 %python 解释器的 Zeppelin 作业，只需初始化 SparkSession 并停止它：

第一个齐柏林飞艇块：

%python
from pyspark.sql import SparkSession
from pyspark.sql import Row
import collections

spark = SparkSession.builder.appName("SparkSQL").getOrCreate()

第二个齐柏林飞艇块：

 %python
 spark.stop()

问题 2： 反过来，此作业并未出现在 YARN UI 中。是不是每当作业出现在 SparkUI 中就意味着它正在使用 Spark 资源管理器运行？

我们非常感谢您对这些问题的任何见解。

【问题讨论】：

我不确定，但如果您删除停止上下文的语句，也许您可以看到这项工作。

标签： hadoop apache-spark pyspark apache-zeppelin

【解决方案1】：

Zeppelin 会在首次使用解释器后运行一个连续的 Spark 应用程序。所有段落都将在这一应用程序中运行。在您的第二段中，您将停止 SparkSession (spark.stop)，这样会终止首次使用解释器时创建的应用程序。因此，您可以在“已完成的应用程序”部分下查看作业。如果您删除 spark.stop，您应该会看到正在运行的应用程序下列出的作业。

【讨论】：