Spark Dataframe 丢失分区

Question

我在读取 spark 数据帧时发现了这个奇怪的问题。我将数据帧重新分区为 50k 个分区。但是，当我读取数据帧并对其执行计数操作时，我发现当我使用 spark 2.0 时，底层 rdd 只有 2143 个分区。

所以我去了我保存重新分区数据的路径，发现

hfs -ls /repartitionedData/ | wc -l
50476

所以它在保存数据的同时创建了 50k 个分区。

但是使用 spark 2.0，

val d = spark.read.parquet("repartitionedData")
d.rdd.getNumPartitions
res4: Int = 2143

但是使用 spark 1.5，

val d = spark.read.parquet("repartitionedData")
d.rdd.partitions.length
res4: Int = 50474

有人可以帮我解决这个问题吗？

Answer 1

不是你丢失数据，Spark 只是改变分区的数量。 FileSourceStrategy 将 parquet 文件组合到更少的分区中，并重新排序数据。

这在 Spark 升级到版本 2.0 后发生了变化。你可以找到一个有点相关的错误报告here。