HDP 2.3 沙箱 mapreduce 日志答案

【问题标题】：HDP 2.3 sandbox mapreduce logHDP 2.3 沙箱 mapreduce 日志
【发布时间】：2015-12-28 21:36:02
【问题描述】：

我的 mapreduce 程序中有 System.out.printlns； MR 运行成功，但我无法在任何地方看到日志。我尝试使用"yarn log -applicationId ..."，但仍然看不到我的日志。

启用日志是否需要任何特殊设置？如果不是，日志文件的位置是什么？

【问题讨论】：

是否启用了日志聚合？
这可能会有所帮助stackoverflow.com/questions/21621755/…
yarn-site.xml 中的yarn.log-aggregation-enable 属性设置为true，yarn.nodemanager.log-dirs 为/hadoop/yarn/log，但我在此下看不到任何文件文件夹。
@ManikandanKannan，你能找到解决方案吗？我也有同样的问题。

【解决方案1】：

端口 8088 显示集群上的所有 MR 作业。单击 MR 作业，然后单击跟踪历史记录。

【讨论】：

【解决方案2】：

如果您已配置日志聚合，那么您将在 HDFS 上的 /tmp/logs 中找到您的日志。此 hdfs 目录是使用属性 yarn.nodemanager.remote-app-log-dir 设置的（默认为 /tmp/logs）。

因此您应该能够使用以下命令在名称节点上查看用户的应用程序日志目录：

hdfs dfs -ls /tmp/logs

【讨论】：

实际上它的 /app-logs 在沙盒配置中。我在 /app-logs/hdfs/logs/application_.... 下看到了这个特定的应用程序日志，并且纱线日志也可以工作。但是从 UI 中，我看不到容器和应用程序日志。我收到的消息是“日志不适用于 container_..... 聚合可能不完整，稍后再回来查看或尝试使用 nodemanager ...”....来自 UI 的应用程序日志的类似消息
我使用这些 URL 来访问容器和应用程序日志......容器 url：localhost:19888/jobhistory/logs/sandbox.hortonworks.com:45454/… 和 Job Url：localhost:19888/jobhistory/logs/sandbox.hortonworks.com:45454/…

【解决方案3】：

当您在前几行运行作业时，它会为您提供一个链接来跟踪作业。您可以将该链接粘贴到浏览器中并浏览任务级别日志以查看详细信息。

在 map reduce 中使用 System.out.println 并不是一个好习惯。

【讨论】：