如何将 pyspark 日志记录级别设置为调试？答案

【问题标题】：How to set pyspark logging level to debug?如何将 pyspark 日志记录级别设置为调试？
【发布时间】：2020-05-07 02:39:23
【问题描述】：

谁能帮我设置日志级别以调试和捕获更多日志所需的 spark 配置

【问题讨论】：

这能回答你的问题吗？ How can set the default spark logging level?

标签： python apache-spark pyspark

【解决方案1】：

在 sparksession 中将 setLogLevel 属性设置为 DEBUG。

from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local').appName('test').getOrCreate()
spark.sparkContext.setLogLevel("DEBUG")

#or

log4j = sc._jvm.org.apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.DEBUG)

#for custom log
log4j.LogManager.getRootLogger().info("custom log")
#2020-05-06 13:43:42 INFO  root:? - custom log

【讨论】：

谢谢。但我认为这条线在我的情况下创建了无端控制台输出。错误是围绕“连接错误”
@user13485171，你能用performing和error的步骤更新问题吗？
我想，但我不能，因为这有点机密我的代码看起来像设置环境变量类似地创建 spark 会话然后我尝试更改日志级别所以用新代码重新解决了我认为的问题更多是因为我的服务器设置/权限，我会与我的 IT 部门一起处理这个问题并告诉你它发生的原因