【问题标题】：Spark history-server stderr and stdout logs location when working on S3在 S3 上工作时 Spark history-server stderr 和 stdout 日志位置
【发布时间】：2022-09-30 08:47:03
【问题描述】：

我部署了可以服务于多环境的 spark-history 服务器，所有 spark 集群将写入一个存储桶，历史服务器将从该存储桶读取。

我得到了一切工作和设置，但是当我尝试访问某个任务的标准输出/标准错误时，它正在解决正在运行该任务的工作人员的私有 IP（例如-http://10.192.21.80:8081/logPage/?appId=app-20220510103043-0001&executorId=1&logType=stderr）。

我想从 UI 访问这些日志，但是当然，无法访问那些内部 IP（私有子网和私有 IP），难道没有办法也上传那些 stderr/stdout记录到存储桶，然后从历史服务器 UI 访问它？

我在文档中找不到任何内容

标签： apache-spark

【解决方案1】：

我假设您在这里指的是运行 Spark 作业 AWS EMR。

如果您已启用对集群 [1] 上的 s3 存储桶的日志记录，则在启动集群时，所有应用程序日志都会记录在指定的 s3 存储桶路径中。

您应该在以下路径中找到日志：

s3:/<bucketpath>/<clusterid>/containers/<applicationId>/<containerId>/stdout.gz

s3:/<bucketpath>/<clusterid>/containers/<applicationId>/<containerId>/stderr.gz

希望以上信息对您有所帮助！

参考：

[1] 配置集群日志和调试-启用调试工具-https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html#emr-plan-debugging-logs-archive-debug

【讨论】：