禁用 Spark 作业的应用程序报告答案

【问题标题】：Disable Application report for a Spark Job禁用 Spark 作业的应用程序报告
【发布时间】：2015-02-17 20:07:15
【问题描述】：

当我提交 Spark 作业（在 AWS-EMR 上）时，控制台上有很多“INFO 日志”：

15/02/17 19:44:46 INFO yarn.Client：application_1455192031517_0006 的应用报告（状态：ACCEPTED）

15/02/17 19:44:47 INFO yarn.Client：application_1455192031517_0006 的应用报告（状态：RUNNING）

：

有没有办法禁用这些“信息”？谢谢！

【问题讨论】：

标签： apache-spark hadoop-yarn emr

【解决方案1】：

启动 spark-shell 时，我无限期地收到此 INFO 消息。结果是，其中一个节点管理器位于错误的角色组中，允许的内存低于 spark-shell 请求的内存（纱线模式）。所以 Spark 正在等待 yarn 无法满足的资源。

【讨论】：

【解决方案2】：

另一个选项是在安装中使用“-l loglevel”参数。见https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/README.md

或者，如果您以交互方式使用 Spark shell 或 sql，只需将 stderr 重定向到别处（MASTER=yarn-client ~/spark/bin/spark-shell 2>/tmp/stderr.log）。

【讨论】：

【解决方案3】：

import org.apache.log4j.Logger
import org.apache.log4j.Level
Logger.getLogger("org").setLevel(Level.ERROR)
Logger.getLogger("akka").setLevel(Level.ERROR)

【讨论】：