在集群上运行 spark 时候,对 RDD 进行 foreach(print) 并没有打印任何内容,这是怎么回事呢?

这是因为 RDD 运行在各个 worker 上,foreach 是对 各个 worker 上的 RDD partition 进行操作,要打印也是打印在 worker 终端,所以驱动节点不会打印

相关文章:

  • 2022-12-23
  • 2022-01-04
  • 2021-12-10
  • 2021-11-03
  • 2022-01-21
  • 2022-01-26
  • 2022-12-23
  • 2021-11-03
猜你喜欢
  • 2021-06-19
  • 2021-12-23
  • 2022-12-23
  • 2021-10-08
  • 2022-01-16
  • 2021-04-30
相关资源
相似解决方案