用于 hbase mapreduce 作业的 log4j

Question

我知道 hadoop 使用 log4 进行日志记录，并且我能够查看 conf/log4j.properties 中的属性以找出现有日志文件的位置。但是，有没有办法让我将日志从 hbase mapreduce 作业定向到一个全新的文件？想法是，我有一个计划在夜间运行的工作，我希望能够为这个工作登录到 /var/log/myjob.log，这样我就可以检查该文件是否有任何错误/异常，而不必通过jotrackter 用户界面。这可能吗？如果是这样，怎么做？另外，请注意，作业将提交到集群，因此请告知日志文件是否需要位于 HDFS 或常规（linux）平台上。如果在 Linux 上，那么它应该在所有节点上还是只在 hadoop 主节点上？

感谢您的建议。

Answer 1

您可以按照Configuring Log4j Loggers Programmatically 中的说明在 mapper 和 reducer 类的 setup() 方法中动态创建 File Appender。