1、清除hdfs回收站


CDH 集群定期清理指南


2 、 清空spark任务执行历史记录

hadoop fs -ls /user/spark/applicationHistory


清掉后再把回收站清理一下


3、cloudera manager清理

装cm的机器:/var/lib 路径下有如下文件:

CDH 集群定期清理指南

主要清理cloudera-host-monitor 、cloudera-service-monitor

这两个文件下子目录带ts两个字母的目录下都会有partitions,直接清掉就ok

例:subject_ts、ts_subject、ts等带有ts的目录

4、yarn缓存文件清理

/yarn/nm 下逐级目录删,主要清空filecahe里的文件,这部分最站磁盘


5、集群hdfs数据做定期处理


6、集群各组件日志做定期处理

相关文章:

  • 2021-06-24
  • 2021-10-21
  • 2022-01-17
  • 2022-12-23
  • 2022-01-07
  • 2021-12-07
  • 2022-01-15
  • 2021-11-18
猜你喜欢
  • 2022-12-23
  • 2022-01-21
  • 2021-09-25
  • 2021-06-01
  • 2021-04-04
  • 2022-12-23
相关资源
相似解决方案