【问题标题】:Datanode disks are full because huge files as stdoutDatanode 磁盘已满,因为标准输出为大文件
【发布时间】:2019-01-04 04:23:33
【问题描述】:

我们有以下 hadoop 集群版本,(DATA-NODE 机器在 Linux OS 版本 - 7.2 上)

ambari - 2.6.1 HDP - 2.6.4

我们看到很少有 datanode 机器上的磁盘满 100% 的场景

因为文件 - stdout 很大

例如

/grid/sdb/hadoop/yarn/log/application_151746342014_5807/container_e37_151003535122014_5807_03_000001/stdout

从 df -h 可以看到

df -h /grid/sdb
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdb        1.8T  1.8T  0T   100% /grid/sdb

任何建议如何避免这种情况,即标准输出很大,实际上这个问题会导致停止数据节点上的 HDFS 组件,

秒: 因为标准输出的路径是:

/var/log/hadoop-yarn/containers/[application id]/[container id]/stdout

是否可以限制文件大小? 或者当文件达到阈值时清除标准输出?

【问题讨论】:

    标签: hadoop hadoop-yarn datanode


    【解决方案1】:

    查看上面的路径,您的应用程序(Hadoop 作业)正在向stdout 文件写入大量数据。这通常发生在 Job 使用 System.out.println 函数或类似函数将 data 写入 stdout 时,这不是必需的,但有时可用于调试代码。

    请检查您的应用程序代码并确保它没有写入stdout。

    希望这会有所帮助。

    【讨论】:

    • 可以说,我们想做一些变通方法来搜索这些文件并移动文件中除了最后 1000 行之外的所有行,我们可以这样做吗?
    • 您可以编写一个将最后 1000 行拖尾到另一个文件的 cron 作业。但是你想用最后 1000 行实现什么?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-04-06
    • 1970-01-01
    • 1970-01-01
    • 2018-04-05
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多