【问题标题】：Cloudera Manager - HDFS Free Space Health Issues TroubleshootCloudera Manager - HDFS 可用空间健康问题疑难解答
【发布时间】：2015-11-25 11:12:24
【问题描述】：
我有一个由两台主机配置的集群 -
看来我正在运行的作业正在创建大量日志，而我的一个 hdfs 数据节点显示严重的健康问题 -
四件事：
- 如何清理这些日志并释放空间？从 /var/log/hadoop-hdfs 手动删除它们是个好主意吗？
如上 /var/log/hadoop-hdfs 目录只有 610 MB，hdfs 的空间在哪里被占用？
如何配置日志文件以定期删除？
我已经启动并运行了 HDFS、Spark 和 YARN - MR2 服务，它们都在创建自己的日志。我也想清理这些。
谢谢！
【问题讨论】：
标签：
hadoop
apache-spark
hdfs
hadoop-yarn
spark-graphx
【解决方案1】：
在深入研究 hdfs 之后 -
要获取哪个目录具有什么大小，请执行：
hadoop fs -du -h /user/
Spark 服务日志创建：
由 Spark 位置创建的日志被识别、手动删除并且集群恢复到健康状态 -
Spark on 在位置的 HDFS 中创建日志 -
/user/spark/applicationHistory
日志文件大小为 129GB。（已删除）
使用的命令 - （当 -rm 将文件移动到垃圾箱时，我们也需要从垃圾箱中 -rm 以便正确清理）
$ hadoop fs -rm /user/spark/applicationHistory/*
$ hadoop fs -rm -r /user/cloudera/.Trash/Current