【问题标题】:the meaning of the logs files in HadoopHadoop中日志文件的含义
【发布时间】:2014-05-20 01:18:51
【问题描述】:

我尝试分析不同应用程序的 Hadoop 系统的作业特征,例如 MapReduce、Hbase 等。 有一些用于不同目的的日志文件,例如,namenode、datanode 和 jobtrack。日志文件采用某种格式。 有没有人知道日志文件中每个项目的确切含义?或者在哪里可以找到相关文档?

谢谢!

【问题讨论】:

    标签: logging hadoop


    【解决方案1】:

    Hadoop 使用log4j 来处理日志。看起来你没有修改配置。不知道你用的是哪个版本。所以假设你在这里使用配置:https://github.com/apache/hadoop-common/blob/ade66f948e2cf0d5bd46a212b58c8ca3c85aba39/hadoop-common-project/hadoop-common/src/main/conf/log4j.properties

    输出到控制台的日志格式定义为

    log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
    
    • %d{yy/MM/dd HH:mm:ss}:日期及其格式。
    • %p:记录事件的优先级。例如,INFO、DEBUG、ERROR。
    • %c:日志事件的类别。在 Hadoop 中,它通常是类名。
    • %m:日志消息。
    • %n:平台相关的行分隔符或字符。

    更多信息可以在这里找到:http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/PatternLayout.html

    输出示例是

    14/05/19 06:50:42 INFO http.HttpServer: Jetty bound to port 42253
    

    【讨论】:

    • 我认为 OP 是关于日志的含义,而不是如何更改正在记录的内容。
    猜你喜欢
    • 1970-01-01
    • 2013-02-26
    • 2017-11-15
    • 2011-02-09
    • 2014-11-17
    • 2021-12-18
    • 1970-01-01
    • 2015-04-29
    • 2019-04-11
    相关资源
    最近更新 更多