【发布时间】:2016-05-20 04:25:47
【问题描述】:
我正在 sbt 控制台中启动 Ammonite shell 并尝试运行 spark 作业,我看到日志记录级别为 Debug,它正在打印所有调试级别的日志记录器,这些日志记录器正在生成大量日志并需要永远完成作业。
14:36:14.331 [run-main-0] DEBUG org.apache.http.wire - >> "Content-Type: application/octet-stream[\r][\n]"
14:36:14.331 [run-main-0] DEBUG org.apache.http.wire - >> "Connection: Keep-Alive[\r][\n]"
14:36:14.331 [run-main-0] DEBUG org.apache.http.wire - >> "[\r][\n]"
14:36:14.331 [run-main-0] DEBUG org.apache.http.headers - >> GET /nlp/resources/DecisionSentence/parenUnigrams.txt HTTP/1.1
14:36:14.331 [run-main-0] DEBUG org.apache.http.headers - >> Host: ravellaw.s3-us-west-2.amazonaws.com
14:36:14.331 [run-main-0] DEBUG org.apache.http.headers - >> X-Amz-Date: 20160209T223614Z
以下是我尝试禁用调试级别日志记录但我仍然看到调试级别记录器的设置
在 build.sbt 中添加:
showSuccess := false
logLevel in console := Level.Warn
logLevel in run := Level.Warn
尝试使用警告调用 sbt 控制台:
sbt --warn console
在 sbt 控制台中尝试了以下设置:
System.setProperty("log4j.logger.org.apache.http.wire", "WARN")
System.setProperty("log4j.logger.org.apache.http.headers", "WARN")
System.setProperty("log4j.logger.org.apache.http.content", "WARN")
编辑 /spark/conf/log4j.properties 并更改行格式
log4j.rootCategory=INFO, console
到
log4j.rootCategory=WARN, console
不幸的是,在所有这些更改之后,我仍然看到调试级别的日志记录。
【问题讨论】:
标签: scala logging apache-spark log4j sbt