使用 spark-submit 时如何在控制台中删除消息？ [复制]

【问题标题】：How to drop messages in console when using spark-submit? [duplicate]使用 spark-submit 时如何在控制台中删除消息？ [复制]
【发布时间】：2016-12-02 22:08:04
【问题描述】：

当我使用scala 运行spark-submit 作业时，我可以在控制台中看到很多状态消息。

但我只想看到我的照片。我可以输入任何参数以免看到这些消息吗？

【问题讨论】：

如果满意则接受；不要让问题悬而未决。

标签： apache-spark spark-submit

【解决方案1】：

这应该可以解决大部分问题。把它放在代码里面：

import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.WARN)
Logger.getLogger("akka").setLevel(Level.WARN)

或者这个conf/log4j.properties：

log4j.rootCategory=WARN, console

【讨论】：