Spark 应用程序日志消息未显示在 EMR 日志中答案

【问题标题】：Spark application log messages not showing in EMR logsSpark 应用程序日志消息未显示在 EMR 日志中
【发布时间】：2015-04-02 14:08:08
【问题描述】：

我正在 EMR 上运行 spark 作业，但我的日志消息没有写入日志。我希望我的日志消息与运行 hadoop 作业时发生的火花日志消息混合在一起。当我在本地运行我的作业时，我的日志消息会按预期打印在日志输出的其余部分中。

我尝试了以下不起作用的方法：

import org.slf4j.LoggerFactory ... val logger = LoggerFactory.getLogger(MyPoc.getClass()) logger.info("message here")

和

import org.apache.log4j.Logger ... val logger = Logger.getRootLogger() logger.info("message here")

和

import org.apache.spark.Logging object MyPoc extends App with Logging { ... logInfo("message here") ... }

如何将日志消息从在 EMR 上运行的 spark 作业写入日志文件？

我的工作如下：

aws emr create-cluster --name EMR-Spark-PoC --ami-version 3.3.1 \ --instance-type=m1.medium --instance-count 2 \ --ec2-attributes KeyName=key-dev,InstanceProfile=EMRJobflowDefault \ --log-uri s3://my-logs/emr/ \ --bootstrap-action Name=Spark,Path=s3://support.elasticmapreduce/spark/install-spark,Args=[-x] \ --steps Name=SparkPoC,Jar=s3://eu-west-1.elasticmapreduce/libs/script-runner/script-runner.jar,Args=[/home/hadoop/spark/bin/spark-submit,--deploy-mode,cluster,--master,yarn-cluster,--class,my.poc.EmrPoc,s3://my-dev/poc-0.0.1.jar,s3n://my-data/avro/part-m-00000.avro,s3n://my-data/avro/part-m-00000.avro] \ --no-auto-terminate

我已经使用汇编构建了一个胖罐子。这是我的大部分 build.sbt：

libraryDependencies ++= Seq(
  "org.apache.hadoop" % "hadoop-client" % "2.2.0" % "provided",
  "org.apache.spark" %% "spark-core" % "1.2.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "1.2.0",
  "com.databricks" %% "spark-avro" % "0.1"
)

assemblyMergeStrategy in assembly := {
  case x if x.endsWith(".class") => MergeStrategy.last
  case x if x.endsWith(".properties") => MergeStrategy.last
  case x if x.contains("/resources/") => MergeStrategy.last
  case x if x.startsWith("META-INF/mailcap") => MergeStrategy.last
  case x if x.startsWith("META-INF/mimetypes.default") => MergeStrategy.first
  case x if x.startsWith("META-INF/maven/org.slf4j/slf4j-api/pom.") => MergeStrategy.first
  case x =>
    val oldStrategy = (assemblyMergeStrategy in assembly).value
    if (oldStrategy == MergeStrategy.deduplicate)
      MergeStrategy.first
    else
      oldStrategy(x)
}

assemblyExcludedJars in assembly := {
  val cp = (fullClasspath in assembly).value
  cp filter {_.data.getName == "avro-ipc-1.7.7-tests.jar"}
}

【问题讨论】：

你在 YARN 上运行吗？您如何启动集群并提交作业？
我正在使用此页面forums.aws.amazon.com/thread.jspa?threadID=126682&tstart=0 上的“创建集群、运行 Spark 应用程序然后终止的一体化 AWS CLI 命令示例”下的说明
你认为我对 slf4j-api/pom 的合并策略可能有问题吗？
我认为日志记录不应该由您的应用程序设置，它应该由 EMR 引导程序处理。它应该在 YARN 推送日志的任何地方保存日志
是的。当我在本地登录时，一切正常。我认为 EMR 上有一些狡猾的 log4j 配置。

标签： scala logging apache-spark emr

【解决方案1】：

您可以在 EMR 上创建引导操作，以将您的应用程序 log4j 设置附加到 EMR log4j 环境。

1) 示例引导操作

#!/bin/bash
set -x
CUSTOM_LOG4J_FILE=$1
CUSTOM_LOG4J_FILE_NAME="customlog4j.txt"
echo "Starting to copy over logging configuration on EMR"
hadoop fs -get $CUSTOM_LOG4J_FILE /home/hadoop/
cat /home/hadoop/$CUSTOM_LOG4J_FILE_NAME >> /home/hadoop/conf/log4j.properties
exit 0

2) customlog4j.txt 的示例内容

log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
log4j.logger.org.apache.spark=ERROR
log4j.logger.akka=ERROR
log4j.logger.io=ERROR
log4j.my.poc=DEBUG

注意：如果您只需要更改 Spark 驱动程序的 log4j 选项，install-spark 引导操作有一个 -l 选项

【讨论】：