【发布时间】：2017-08-02 04:45:54
【问题描述】：
Spark 如何决定对任何 RDD 执行多少重新分区。 RDD repartition() 取数怎么算出来的？
【问题讨论】：
标签： apache-spark rdd partition
【发布时间】：2017-08-02 04:45:54
【问题描述】：
决定分区时的经验法则。
分区大小应小于2GB（此限制来自spark code）。
在 Spark 中尝试保持分区大小 = 映射拆分大小 = HDFS 默认块大小。请记住在 spark num reducer task >= num mappers 中不像 MR
如果分区数在 2000 左右，则增加 numPartitions > 2000。因为 spark 对 2000 的分区应用不同的逻辑
【讨论】：