在 Spark 应用程序中使用 log4j 时如何忽略导入的库日志答案

【问题标题】：how to ignore imported libraries log when using log4j in spark applications在 Spark 应用程序中使用 log4j 时如何忽略导入的库日志
【发布时间】：2020-03-22 17:55:33
【问题描述】：

我正在使用 spark graphx 做一个项目。我想登录我的代码进行跟踪，... 我使用以下代码创建记录器对象。

package org.araz.DAF.GraphAnalysis
import org.apache.spark.graphx._
import org.araz.DAF.{GEdge, GVertex}
import org.slf4j.LoggerFactory
class GraphAnalysis(_graph: Graph[GVertex, GEdge]) {
  var graph: Graph[GVertex, GEdge] = _graph
  def GetConnectedComponents(_cnt: Int): Array[ConnectedComponents] = {
    val logger= LoggerFactory.getLogger(getClass)
    val cc = graph.connectedComponents()
    logger.info("Info 1")
    cc
  }
}

当我打开日志文件时，我发现更多行而不是“信息 1”，更多行的 graphx 库。火花内部日志。我怎样才能只记录我的日志而忽略外部库日志

【问题讨论】：

你试过了吗：stackoverflow.com/questions/27781187/…？
感谢 4 您的评论。但如果我从 WARN 类型登录，该链接将忽略 WARN 日志。所以我的日志错过了。

标签： scala apache-spark log4j spark-graphx

【解决方案1】：

更新 Log4j 属性文件：

log4j.rootLogger=ERROR
...
...
...
log4j.logger.org.araz.DAF.GraphAnalysis=INFO

停止打印火花日志的最简单方法可能是：

Logger.getLogger("org").setLevel(Level.ERROR)// OFF
Logger.getLogger("akka").setLevel(Level.ERROR)//OFF

【讨论】：