从列表创建空 DataFrame 比从 emptyRDD() 慢 x4 倍

Question

我们想在代码中的某个位置创建一个空的 DataFrame。我们发现了这个奇怪的问题。

---

从空列表创建时，这会减慢我们的程序，并导致程序中稍后的每个 spark 操作（例如 df.write()）慢 4 倍：

spark.createDataFrame([], schema)

经过大量调试，我发现这个问题可以解决：

spark.createDataFrame(spark.sparkContext.emptyRDD(), schema)

---

试图查看 Spark 源代码，但无法得出任何结论。 此外，在程序中对 DataFrames 做了 df.explain() - 但计划是相同的。 我唯一的想法是第一个选项会导致与工作节点的一些额外通信。

有谁知道为什么第一个选项比第二个慢很多？

Answer 1

spark.sparkContext.emptyRDD() 创建一个零分区的 RDD，而spark.createDataFrame([], schema) 创建一个至少有一个分区的 DataFrame。 开销是由于空分区上的任务造成的。