什么决定了 Spark 应用程序中的作业数量

Question

以前我的理解是，一个动作将在 spark 应用程序中创建一个工作。但是让我们看看下面的场景，我只是使用 .range() 方法创建一个数据框

df=spark.range(10)

由于我的 spark.default.parallelism 是 10，因此生成的数据帧是 10 个分区。 现在我只是在数据帧上执行 .show() 和 .count() 操作

df.show()
df.count()

现在，当我检查 spark 历史记录时，我可以看到 .show() 的 3 个作业和 .count() 的 1 个作业

为什么 .show() 方法有 3 个作业？

我读过一些 .show() 最终会在内部调用 .take() 的地方，它会遍历决定作业数量的分区。但我没看懂那部分？ 究竟是什么决定了工作的数量？

Answer 1

类似的问题在 StackOverflow 上被问过很多次。例如：

• Why is Spark creating multiple jobs for one action
• How Spark invokes number of JOBS when action is triggered?

看了Spark的源码就很明显了。

背景知识：RDD是Spark的基础数据结构，所以Dataset（和Dataframe）在运行时也会使用RDD的API。

调用栈是：show()方法会调用showString()，和showString() -> getRows() -> take(n) -> head(n)。最后，会导致RDD的take(n)。

while (buf.size < num && partsScanned < totalParts) {
        ...
        val res = sc.runJob(this, (it: Iterator[T]) => it.take(left).toArray, p)
        res.foreach(buf ++= _.take(num - buf.size))
        partsScanned += p.size
}

默认有12个分区，根据n参数，take可能会启动多个job。