火花强迫 log4j答案

【问题标题】：Spark forcing log4j火花强迫 log4j
【发布时间】：2015-10-24 07:31:35
【问题描述】：

我在 Scala 中有一个微不足道的 spark 项目，想使用 logback，但 spark/hadoop 似乎迫使我使用 log4j。

这似乎与我对 slf4j 目的的理解不一致；是这不是 spark/hadoop 的疏忽吗？
我必须放弃 logback 并使用 log4j，还是有解决方法？

在 build.sbt 我尝试了排除...

"org.apache.spark" %% "spark-core" % "1.4.1" excludeAll(
    ExclusionRule(name = "log4j"),
    ExclusionRule(name = "slf4j-log4j12")
),
"org.slf4j" % "slf4j-api" % "1.7.12",
"ch.qos.logback" % "logback-core" % "1.1.3",
"ch.qos.logback" % "logback-classic" % "1.1.3"

...但这会导致异常...

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/log4j/Level
    at org.apache.hadoop.mapred.JobConf.<clinit>(JobConf.java:354)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:344)
    at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:1659)
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:91)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
    at org.apache.hadoop.security.Groups.<init>(Groups.java:55)
    at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:182)
    at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:235)
    at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:214)
    at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:669)
    at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:571)
    at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2162)
    at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2162)
    at scala.Option.getOrElse(Option.scala:120)
    at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2162)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:301)
    at spike.HelloSpark$.main(HelloSpark.scala:19)
    at spike.HelloSpark.main(HelloSpark.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.log4j.Level
    at java.net.URLClassLoader$1.run(URLClassLoader.java:372)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:360)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 20 more

【问题讨论】：

您是否希望所有 spark 日志记录都使用您的。还是只是您的应用？
我想我希望所有日志都转到我选择的 slf4j 绑定，在本例中为 logback。没有排除 slf4j 警告我它找到了 log4j（来自 spark）和 logback（来自我）。我现阶段在本地运行。
您需要 log4j 和 log4j-over-slf4j 才能使其“工作”。但是，在运行 spark-submit 时会遇到其他问题。见：stackoverflow.com/questions/31790944/…

标签： java scala hadoop apache-spark logback

【解决方案1】：

我遇到了和你一样的异常。我认为除了排除 log4j 和 slf4j-log4j12 之外，您还应该添加 log4j-over-slf4j 作为依赖项。它对我有用。

log4j-over-slf4j 是 log4j 的替代品，因为它提供与 log4j 完全相同的 api，并且实际上将所有对 log4j 的调用路由到 slf4j，然后将所有内容路由到底层日志框架。 https://www.slf4j.org/legacy.html给出详细解释。

【讨论】：