蜂巢分区表上的火花行为

Question

我使用 Spark 2。

实际上我不是执行查询的人，所以我不能包含查询计划。数据科学团队向我提出了这个问题。

我们将 hive 表分区为 2000 个分区并以 parquet 格式存储。当在 spark 中使用这个各自的表时，执行者之间正好有 2000 个任务在执行。但是我们有一个 256 MB 的块大小，我们预计（总大小/256）分区数肯定会远小于 2000。是否有任何内部逻辑火花使用数据的物理结构来创建分区。任何参考/帮助将不胜感激。

更新：情况正好相反。实际上我们的表非常大，比如 3 TB 有 2000 个分区。 3TB/256MB 实际上会达到 11720，但我们的分区数与表的物理分区数完全相同。我只是想了解数据量上的任务是如何生成的。

Answer 1

通常 Hive 分区不会 1:1 映射到 Spark 分区。 1个Hive partition可以拆分成多个Spark partition，一个Spark partition可以容纳多个hive-partition。

加载 hive-table 时 Spark 分区的数量取决于参数：

spark.files.maxPartitionBytes (default 128MB)
spark.files.openCostInBytes (default 4MB)

您可以检查分区，例如使用

spark.table(yourtable).rdd.partitions

这将为您提供一个 FilePartitions 数组，其中包含文件的物理路径。

为什么你从你的 2000 个 hive 分区中恰好得到了 2000 个 Spark 分区，这对我来说似乎是巧合，根据我的经验，这不太可能发生。请注意，spark 1.6 中的情况不同，spark 分区的数量类似于文件系统上的文件数量（1 个文件对应 1 个 spark 分区，除非文件非常大）

Answer 2

我只是想了解数据量上的任务是如何生成的。

任务是一个运行时工件，它们的数量正是分区的数量。

任务数量与数据量没有任何关系。拥有足够的分区来保存数据是 Spark 开发人员的责任。