如何更改执行程序的日志记录级别？答案

【问题标题】：How to change logging levels for executors?如何更改执行程序的日志记录级别？
【发布时间】：2016-03-09 21:10:28
【问题描述】：

Spark 执行器执行的所有类的默认日志记录级别似乎是INFO。我想根据需要改成DEBUG，或者WARN等。

我正在使用 Spark Streaming 1.3.1，但很快就会切换到 1.4。

我在提交 Spark Streaming 作业的 shell 脚本中有以下行：

export SPARK_JAVA_OPTS="-Dlog4j.configuration=file:./log4j.properties"

这允许我更改在驱动程序中运行的类的日志记录级别，而不是在执行程序中。

如何控制由执行程序运行的类的日志记录？

注意：我们不在 Yarn 上运行。我们正在 EC2 上启动我们自己的 Spark 集群。

注意：理想情况下，我们希望在 Streaming 进程仍在运行时更改日志记录级别。如果那不可能，至少我们应该能够更改一些属性文件。重新编译代码和重新部署不是一种选择。

【问题讨论】：

【解决方案1】：

tl;dr 将conf/log4j.properties 更改为适当的级别并将文件分发给工作人员。

当您提交 Spark 应用程序时，您可能会对 spark-submit 的 --files 命令行选项感到幸运。它允许您更改每个应用程序的日志记录级别。这只是一个猜测，因为我还没有尝试过。

【讨论】：