Spark我可以在执行textFile时手动指定分区数吗

Question

spark 会根据输入文件的大小自动决定分区的数量。我有两个问题：

我可以指定分区的数量而不是让spark决定多少分区吗？

在进行重新分区时，shuffle 有多糟糕？演出真的很贵吗？我的情况是我需要重新分区为“1”才能写入一个 Parquet 文件，分区为“31”。有多糟糕？为什么？

Answer 1

这个不行，分区数由文件大小决定。

Answer 2

Repartition 和 coalesce 是用于在读取数据后对数据进行重新分区的两个函数。