YARN 应用程序日志在发送到 S3 之前存储在 EMR 中的什么位置

【问题标题】：Where does YARN application logs get stored in EMR before sending to S3YARN 应用程序日志在发送到 S3 之前存储在 EMR 中的什么位置
【发布时间】：2018-10-24 02:30:20
【问题描述】：

我需要将 Yarn 应用程序日志从 EMR 写入 S3 以外的其他来源。请告诉我应用程序日志在 EMR 主实例中保存在哪里

【问题讨论】：

标签： hadoop logging hadoop-yarn amazon-emr

【解决方案1】：

如果应用程序作为一个步骤提交给 emr，那么日志将驻留在：

/var/log/hadoop/steps/<<step-id>>/<<log-file>>

emr 的大部分日志都可以在主节点的/var/logs 目录下找到

您还可以使用 yarn cli 获取应用程序日志并将返回的日志流重定向到文件以执行您想要的任何操作。

yarn logs -applicationId <<application_id>> > application_log_file.log

【讨论】：

【解决方案2】：

纱线日志在/var/log/hadoop-yarn/，纱线容器日志在/var/log/hadoop-yarn/container

链接：

【讨论】：