Azure HD Insight - YARN UI 突然没有在 stderr 上显示日志

Question

我们过去常常通过转到 logs-->stderr 来查看我们的应用程序日志，它曾经显示 SPARK INFO 日志以及我们自己的 INFO 日志，在过去的 1 个月里，它没有显示任何内容：

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hdp/4.1.0.26/spark2/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/hdp/4.1.0.26/hadoop/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

我们在过去 2 年多的时间里使用 Azure HDI，因为过去 3-4 周 YARN UI 没有在 stderr 上打印日志。我们尝试了所有选项，例如使用旧 HDI 版本，使用我们的旧 jar 文件，研究 log4j 属性，没有任何效果。我们猜测 log4j 输出以某种方式被重定向到其他地方。但我们从未更改任何配置属性，也不知道要更改什么。我们还尝试使用 Livy 和 spark-submit 提交作业，同样的问题。

但我们应该提到，如果我们使用“println()”，它可以工作并在 stderr 上打印。

感谢任何线程/帮助。

Answer 1

您可以尝试一些方法：

• 检查Spark History server 在 Ambari 中是否运行良好
• 在安巴里 => Spark2 在下面找到配置键并将控制台添加到具有 -Dlog4jspark.root.logger=INFO,RFA,Anonymizer 到 Dlog4jspark.root.logger=INFO,console,RFA,Anonymizer 的任何位置

您可以在以下属性中找到它 spark.executor.extraJavaOptions,content,spark.driver.extraJavaOptions

• 您是否能够使用检索任何内容

   yarn logs -applicationId <appid> --appOwner <userid>
  

或者

   yarn logs -applicationId <appid> 

如果没有显示，那么您需要检查目录中用户的权限以及 log4j 属性 (spark.yarn.app.container.log.dir) 的剩余空间和使用 (du -h)。可以参考here

• 您需要检查您是否仍然面临其他用户的问题。
• 尝试使用部署模式作为客户端的小型 Spark 作业，因为它的集群模式要求 log4j 存在于每个节点中。
• 作为一种解决方法，您可以使用自定义 log4j.Link here