在本地模式下，Spark Streaming 中的“仅复制到 0 个对等方而不是 1 个对等方”警告

【问题标题】：Muting “replicated to only 0 peer(s) instead of 1 peers” WARNing in Spark Streaming while in Local Mode在本地模式下，Spark Streaming 中的“仅复制到 0 个对等方而不是 1 个对等方”警告
【发布时间】：2019-11-02 03:54:08
【问题描述】：

在本地模式下运行时，有没有办法在 Spark Streaming 中静音“仅复制到 0 个对等点而不是 1 个对等点”警告？

【问题讨论】：

标签： scala apache-spark spark-streaming

【解决方案1】：

改变

log4j.rootCategory=WARN, console

到

log4j.rootCategory=ERROR, console

在 log4j.properties 中

【讨论】：

【解决方案2】：

虽然，这是一个老问题，但已经有了预期的答案，但它会抑制除 ERROR 之外的所有 log4j 日志。

仅抑制存储日志的更精确方法是将org.apache.spark.storage 的记录器设置为ERROR。

Logger.getLogger("org.apache.spark.storage").setLevel(Level.ERROR)

或者在 Log4J 配置的情况下：

log4j.org.apache.spark.storage=ERROR, consoleAppender

【讨论】：