通过 python 脚本关闭 pyspark 日志记录

Question

如何从 python 脚本关闭 pyspark 日志记录？ 请注意：我不想在 spark logger 属性文件中进行任何更改。

Answer 1

从 python 脚本中删除（或修改）日志记录：

conf = SparkConf()
conf.set('spark.logConf', 'true')  # necessary in order to be able to change log level
... # other stuff and configuration

# create the session
spark = SparkSession.builder\
    .config(conf=conf) \
    .appName(app_name) \
    .getOrCreate()

# set the log level to one of ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN
spark.sparkContext.setLogLevel("OFF")

docs configuration

docs setLogLevel

希望这会有所帮助，祝你好运！

编辑：对于早期版本，例如1.6，您可以尝试以下内容，取自here

logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org"). setLevel(logger.Level.OFF)
# or
logger.LogManager.getRootLogger().setLevel(logger.Level.OFF)

很遗憾，我还没有测试过，请告诉我它是否有效。