无法在 PySpark 中使用日志记录答案

【问题标题】：Unable to use logging in PySpark无法在 PySpark 中使用日志记录
【发布时间】：2021-07-11 03:06:37
【问题描述】：

我正在尝试了解如何在 pyspark 中为 pytest 设置日志记录。但是，以下两种方法都有错误TypeError: 'JavaPackage' object is not callable。我在 pycharm 中使用 python 3.7 和 pyspark

    logger = logging.getlogger('py4j')
    logger.setlevel(logger.WARN)

    log4jLogger = spark.sparkContext._jvm.org.apache.log4j
    log = log4jLogger.logManager.getLogger(__name__)

【问题讨论】：

这个错误很可能与日志记录无关，而是与未找到某些 jar 的事实有关。
@hoefling 谢谢。那么我如何让 pyspark 看到那些罐子呢？我在 pytest 中使用它。

标签： python apache-spark logging pyspark pytest

【解决方案1】：

看起来你引用 Java 对象的方式不正确，试试这个

log4jLogger = spark.sparkContext._jvm.org.apache.log4j
logger = log4jLogger.LogManager.getLogger("MyLogger")
logger.setLevel(log4jLogger.Level.DEBUG)

【讨论】：