【发布时间】:2015-01-23 12:24:37
【问题描述】:
我不知道如何在 Hadoop MapReduce 中执行日志记录。目前我只是在编写打印语句并从 userlogs 目录中读取该语句。这种机制的问题是有时它会创建作业目录,有时它不会。记录消息的最佳方法是什么。
【问题讨论】:
我不知道如何在 Hadoop MapReduce 中执行日志记录。目前我只是在编写打印语句并从 userlogs 目录中读取该语句。这种机制的问题是有时它会创建作业目录,有时它不会。记录消息的最佳方法是什么。
【问题讨论】:
Hi Sanjay:一个合理的结构如下:
a) 将一些非常高优先级的消息写入 System.stderr.println。这些显示在 Job Tracker UI 的 StdErr 部分下。
b) 将一些高(但不是高)优先级消息写入 System.stdout.println。这些显示在 Job Tracker UI 的 Stdout 部分下。
c) 以更谨慎的 log4j 方法编写您的其他(可能更多)输出消息。这些显示在 JobTracker gui 的“系统日志”部分中。
请注意,以上所有内容也可以在各个 TaskTracker 机器的日志目录中找到。
【讨论】: