Apache zeppelin spark 作业比 spark-submit 运行得更快

Question

我想知道我在 Zepplin 段落中编写的 spark 作业的执行速度是否比我自己运行 spark-submit 快得多？

我在 Zepplin 和 spark-submit 中基本上使用相同的配置（执行程序、内存），但执行时间有很大差异。

两者都在同一个独立的 Spark 集群上运行。

什么可以解释这种差异？

Answer 1

我能想到两件事可能会导致这种情况。

1. 使用 zappelin 时，您已经有了一个可能正在使用的 spark 上下文。当您进行 spark-submit 时，您会创建一个新的，这需要一些时间。

2. 即使您的时间安排忽略了火花上下文（例如，您只计算实际工作的时间），在 zappelin 中，您可能会在当前工作之前做一些其他工作。这些可能会导致发生各种缓存。一些例子包括：

   • OS/hadoop 可能会缓存您正在阅读的文件，因为您在之前的单元格中读取了这些文件
   • 您可能正在对某些 RDD 进行之前所做的随机播放，以便将其缓存
   • 您可能有显式缓存
   • 您可能有一个用于连接的数据框已在前一个单元格中正确分区
   • 名单还在继续……