SparkUI是个好东西,可以很清楚的看到集群中的几个worker节点
还能看到每个worker节点的CPU核数和内存 甚至还能看一个job作业运行的时候哪些executor运行,哪些节点运行和本地性级别!

例如:
SparkUI详解,SparkUI是个好东西啊

再点击每个worker节点

SparkUI详解,SparkUI是个好东西啊
我们通过spark-shell运行作业,要想查看通过sparkshell运行的作业可以点击spark-shell
SparkUI详解,SparkUI是个好东西啊

SparkUI详解,SparkUI是个好东西啊

如果想看每个作业的详细信息可以点击描述:
SparkUI详解,SparkUI是个好东西啊
SparkUI详解,SparkUI是个好东西啊
再点击描述
SparkUI详解,SparkUI是个好东西啊
此处描述的已经非常详细了,每个taskID 本地性级别 使用的是哪个Executor哪个worker 十分详细

相关文章:

  • 2021-10-02
  • 2022-12-23
  • 2021-10-25
  • 2021-09-04
  • 2021-10-12
  • 2021-12-20
  • 2021-08-09
  • 2021-11-22
猜你喜欢
  • 2022-12-23
  • 2021-11-02
  • 2021-05-28
  • 2021-07-17
  • 2022-12-23
  • 2021-07-04
相关资源
相似解决方案