我们可以使用hadoop提供的web 接口来实现监控自己的hadoop集群,这样拿到的我们想要得信息比通过日志和查看目录要快的多:

    Namenode 通常通过50070这个端口号来查看他的详细信息报告。提供了我们集群HDFS整体情况:


hadoop 基于web 端监控ui
 我们也可以通过点击 browse the filesystem 来查看每个datanode ,结合hadoop日志,来确定我们这个集群工作正常。

       hadoop 对于正在进行的mapreduce job,也提供了类似上面的功能进行监控,只是将端口号改变成:50030。

       这里我们能够查看正在进行的,和完成的job , 完成的job,能查看到各个node完成任务那些任务,以及各自任务的时间和资源

 
hadoop 基于web 端监控ui
 



 


 

相关文章:

  • 2021-10-28
  • 2021-11-18
  • 2021-11-18
  • 2021-11-18
  • 2021-11-18
  • 2021-05-12
  • 2021-12-05
猜你喜欢
  • 2021-08-08
  • 2021-07-28
  • 2021-12-03
  • 2021-12-22
  • 2022-12-23
  • 2021-05-09
  • 2021-06-02
相关资源
相似解决方案