【发布时间】:2014-05-20 01:18:51
【问题描述】:
我尝试分析不同应用程序的 Hadoop 系统的作业特征,例如 MapReduce、Hbase 等。 有一些用于不同目的的日志文件,例如,namenode、datanode 和 jobtrack。日志文件采用某种格式。 有没有人知道日志文件中每个项目的确切含义?或者在哪里可以找到相关文档?
谢谢!
【问题讨论】:
我尝试分析不同应用程序的 Hadoop 系统的作业特征,例如 MapReduce、Hbase 等。 有一些用于不同目的的日志文件,例如,namenode、datanode 和 jobtrack。日志文件采用某种格式。 有没有人知道日志文件中每个项目的确切含义?或者在哪里可以找到相关文档?
谢谢!
【问题讨论】:
Hadoop 使用log4j 来处理日志。看起来你没有修改配置。不知道你用的是哪个版本。所以假设你在这里使用配置:https://github.com/apache/hadoop-common/blob/ade66f948e2cf0d5bd46a212b58c8ca3c85aba39/hadoop-common-project/hadoop-common/src/main/conf/log4j.properties
输出到控制台的日志格式定义为
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
更多信息可以在这里找到:http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/PatternLayout.html
输出示例是
14/05/19 06:50:42 INFO http.HttpServer: Jetty bound to port 42253
【讨论】: