通过 Web UI 访问 yarn 日志答案

【问题标题】：Access yarn logs via Web UI通过 Web UI 访问 yarn 日志
【发布时间】：2020-04-28 18:20:17
【问题描述】：

如何通过 web ui 访问 yarn 作业日志？

我可以通过纱线管理器网站查看作业日志。但是每次重启yarn，yarn manager的应用列表都是空的。图片是重启前的样子

我可以通过 CLI 命令访问应用程序日志，即使我重新启动了 yarn。

$HADOOP_HOME/bin/yarn logs -applicationId application_1499949542308_0020
jobhistory server web ui一直是空的

我在 yarn-site.xml 和 mapred-site.xml 中的日志设置

<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/home/hadoop/hadoop/nodemanager-logs</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/app-logs</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
    <value>logs</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>http://hdp03.hp.sp.prd.bmsre.com:19888/jobhistory/logs</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hdp03.hp.sp.prd.bmsre.com:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hdp03.hp.sp.prd.bmsre.com:19888</value>
</property>

【问题讨论】：

它是否通过 CLI 工作？如果是，我为此编写了一个小型 webUI：github.com/ebuildy/yoga

标签： hadoop hadoop-yarn hadoop2

【解决方案1】：

在数据节点上，您可以检查文件夹： ${HADOOP_HOME}/logs/userlogs

您只需转到与应用程序ID同名的文件夹即可。

【讨论】：

【解决方案2】：

是的，您可以从 Web UI 访问 Yarn 退休作业。

访问此网址http://<jobtracker>:50070 以获取退休工作。

关于您的问题，您已经重新启动了 yarn，这意味着，一个新的日志线程会唤醒并将日志上传到配置的位置。

但在您的问题中，您的文件系统中是否存在“/app-logs”/app-logs 路径。请检查。

有一个保留期，日志必须在该路径中存储多长时间，它由名为 yarn.log-aggregation.retain-seconds 的属性名称定义 strong> 参数。

据我了解，Job Tracker UI 默认情况下在http://<jobtracker>:50070 提供，公开所有当前正在运行的以及已停用的 MapReduce 作业的信息，并且 YARN 有一个 JobHistory REST 服务，它公开有关已完成的详细信息应用程序。

【讨论】：