如何在 Spark 中抑制“代码生成”和“已清理累加器”消息答案

【问题标题】：How to surpress "Code Generated" and "Cleaned Accumulator" messages in Spark如何在 Spark 中抑制“代码生成”和“已清理累加器”消息
【发布时间】：2019-04-27 16:56:24
【问题描述】：

我写了一个火花作业。这项工作运行良好，没有任何问题。但是，当我查看我的错误日志文件时，我看到了很多类型的消息

[error] 18/11/25 17:28:14 INFO CodeGenerator: Code 
generated in 16.947005 ms

和

[error] 18/11/25 17:28:15 INFO ContextCleaner: Cleaned
accumulator 239819

和

[error] 18/11/25 17:28:06 INFO BlockManagerInfo: Removed 
broadcast_13354_piece0 on 192.168.2.101:43753 in memory 
(size: 20.5 KB, free: 6.2 GB)

有没有办法抑制这些消息。他们只是在膨胀我的日志文件。

不确定为什么 spark 将这些报告为错误。当它们看起来像某种调试消息时。

【问题讨论】：

标签： scala apache-spark

【解决方案1】：

在创建SparkContext的对象时，使用下面的代码根据需要设置日志级别：

sparkContext.setLogLevel("WARN")

以上行会将Spark 的日志级别设置为WARN，您将不会获得任何INFO 或DEBUG 级别的日志。

【讨论】：

我发现我的sparkContext 在SparkSession 中。来自 stackoverflow.com/a/40504350/2523501 - 在 pyspark 控制台中，默认的 spark 会话已经可用 spark.sparkContext.setLogLevel('WARN')