【发布时间】:2019-01-04 04:23:33
【问题描述】:
我们有以下 hadoop 集群版本,(DATA-NODE 机器在 Linux OS 版本 - 7.2 上)
ambari - 2.6.1 HDP - 2.6.4
我们看到很少有 datanode 机器上的磁盘满 100% 的场景
因为文件 - stdout 很大
例如
/grid/sdb/hadoop/yarn/log/application_151746342014_5807/container_e37_151003535122014_5807_03_000001/stdout
从 df -h 可以看到
df -h /grid/sdb
Filesystem Size Used Avail Use% Mounted on
/dev/sdb 1.8T 1.8T 0T 100% /grid/sdb
任何建议如何避免这种情况,即标准输出很大,实际上这个问题会导致停止数据节点上的 HDFS 组件,
秒: 因为标准输出的路径是:
/var/log/hadoop-yarn/containers/[application id]/[container id]/stdout
是否可以限制文件大小? 或者当文件达到阈值时清除标准输出?
【问题讨论】:
标签: hadoop hadoop-yarn datanode