yumanman

coalesce

repartition(numPartitions:Int):RDD[T]

coalesce(numPartitions:Int,shuffle:Boolean=false):RDD[T]

同:RDD的分区进行重新划分

异:repatition是coalesce一种情况,即分区增加,shuffle默认为true。

如果N>M并且两者相差悬殊,可能造成spark程序的并行度不够,从而影响性能,如果在M为1的时候,为了使coalesce之前的操作有更好的并行度,可以将shuffle设置为true。

因为:只有shuffle才能增加partitions。

!!:这个和sql server的api不一样。

使用场景:

通过多步骤的RDD操作后有很多空任务或者小任务产生,通过此减少partition数。

分类:

技术点:

相关文章:

  • 2021-08-05
  • 2021-08-05
  • 2021-08-05
  • 2021-08-05
  • 2021-08-05
  • 2021-12-02
  • 2021-12-02
  • 2021-07-31
猜你喜欢
  • 2021-11-29
  • 2021-08-15
  • 2021-08-05
  • 2021-08-05
  • 2021-08-05
  • 2021-08-05
  • 2021-08-05
相关资源
相似解决方案