textFile:

  defaultParallelism=max(totalCoreCount,2)

  min(defaultParallelism,2)

parallelize:

  max(totalCoreCount,2)

假设是4核的,那么:

对于textFile:

  defaultParallelism=max(4,2)=4

  分区数=min(defaultParallelism,2)=2

对于parallelize:

  分区数=max(4,2)=4

 

相关文章:

  • 2021-08-02
  • 2021-11-06
  • 2022-12-23
  • 2022-12-23
  • 2023-01-11
  • 2022-12-23
  • 2021-07-10
  • 2021-09-30
猜你喜欢
  • 2022-12-23
  • 2021-06-22
  • 2021-08-15
  • 2021-05-09
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案