在使用Intellij IDEA,local模式下运行Spark程序时,会在Run窗口打印出很多INFO信息,辅助信息太多可能会将有用的信息掩盖掉。如下所示
  IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出

  要解决这个问题,主要是要正确设置好log4j文件,本文主要分析如何在local模式下,将Spark的INFO信息隐藏,不影响程序中的结果输出。

1、将spark根目录下的log4j.properties文件复制到Intellij IDEA的src路径下
  此时项目结构如下图所示:
  IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出

2、修改log4j.properties文件的内容
  将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console,只显示ERROR级别的日志。

  再次运行该代码,可以看到INFO信息已经消失
  IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-05-16
  • 2022-01-04
  • 2021-04-18
  • 2021-04-17
  • 2021-11-18
猜你喜欢
  • 2022-12-23
  • 2021-10-03
  • 2021-08-24
  • 2021-07-01
  • 2022-12-23
  • 2022-12-23
  • 2021-11-24
相关资源
相似解决方案