【问题标题】:How to do logging in Hadoop MapReduce?如何在 Hadoop MapReduce 中进行日志记录?
【发布时间】:2015-01-23 12:24:37
【问题描述】:

我不知道如何在 Hadoop MapReduce 中执行日志记录。目前我只是在编写打印语句并从 userlogs 目录中读取该语句。这种机制的问题是有时它会创建作业目录,有时它不会。记录消息的最佳方法是什么。

【问题讨论】:

    标签: hadoop mapreduce


    【解决方案1】:

    Hi Sanjay:一个合理的结构如下:

    a) 将一些非常高优先级的消息写入 System.stderr.println。这些显示在 Job Tracker UI 的 StdErr 部分下。

    b) 将一些高(但不是高)优先级消息写入 System.stdout.println。这些显示在 Job Tracker UI 的 Stdout 部分下。

    c) 以更谨慎的 log4j 方法编写您的其他(可能更多)输出消息。这些显示在 JobTracker gui 的“系统日志”部分中。

    请注意,以上所有内容也可以在各个 TaskTracker 机器的日志目录中找到。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-06-16
      • 1970-01-01
      • 1970-01-01
      • 2012-03-02
      • 1970-01-01
      • 1970-01-01
      • 2016-06-05
      • 2014-04-13
      相关资源
      最近更新 更多