为什么 Spark 在以 csv 格式保存数据帧时会创建多个 csv 文件？

Question

我想了解 spark 如何确定它在将数据框保存为 csv 文件时创建的 csv 文件的数量。分区数会影响这个数吗？为什么会创建一些空文件？我有如下代码

dataframe.coalesce(numPartitions).write
   .format("com.databricks.spark.csv")
   .option("delimiter", "|")
   .option("header", "true")
   .mode("overwrite")
   .save("outputpath")

Answer 1

当您以csv 或任何其他格式保存时，会有多个文件，这是因为您的数据框的分区数很多。如果您有n 分区数，那么您将获得n 保存在输出中的文件数。

分区数会影响这个数吗？

是的，分区数等于文件数。在保存 datarfame/rdd 时，每个分区都写为一个文件。

为什么会创建一些空文件？

所有分区可能不包含数据

希望这会有所帮助！