pyspark 应用程序的日志记录-保存在哪里？答案

【问题标题】：Logging of pyspark application- where is saved?pyspark 应用程序的日志记录-保存在哪里？
【发布时间】：2022-01-30 10:41:58
【问题描述】：

我有一个 PySpark 作业，它使用 SparkSubmitOperator 通过气流提交给 Yarn。在 python 文件 test.py 我有这个日志记录：

import logging
logger = logging.getLogger("myapp")
logger.info("this is to log")

算子长这样：

spark_etl= SparkSubmitOperator(
     task_id = "etl_job",
     name = "transform files",
     application = "test.py",
     ....

我在 Yarn 应用程序管理器中检查了应用程序日志，但日志没有打印出来。我检查了这个气流任务的日志，它也没有打印出来。您能否帮助我了解 PySpark 应用程序日志的保存方式/位置？非常感谢您的帮助。

【问题讨论】：

【解决方案1】：

当您向 YARN 提交 PySpark/Spark 作业时，您的代码会在 Spark 创建的容器中执行。在运行时，日志会在容器内初始化，并且容器内的所有文件都被标记为“临时”，直到应用程序完成运行并随后将其删除。

除了您提交的作业的状态之外，YARN 不会将任何消息传回 Spark 驱动程序。

【讨论】：