EMR 步骤中的 Spark 应用程序级别日志答案

【问题标题】：Spark Application Level logs in EMR stepEMR 步骤中的 Spark 应用程序级别日志
【发布时间】：2020-07-20 19:39:25
【问题描述】：

我正在 EMR 步骤中运行 spark 应用程序，但由于某些错误而导致作业失败，我想查看该错误。我已经检查了 stderr 但它没有提供有关错误的任何详细信息。据说

Exception in thread "main" org.apache.spark.SparkException: Application application_1593934145491_0002 finished with failed status
    at org.apache.spark.deploy.yarn.Client.run(Client.scala:1149)
    at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1526)
    at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:853)
    at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:161)
    at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
    at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:928)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:937)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
20/07/05 07:50:37 INFO ShutdownHookManager: Shutdown hook called

谁能帮帮我？我想查看应用级日志。

【问题讨论】：

按照此处docs.aws.amazon.com/emr/latest/ManagementGuide/…的说明将集群日志配置到 S3
您将能够在 /container/application_id 下看到 S3 上的所有日志
另一种仅用于故障排除的好方法是将 --deploy-mode 设置为客户端而不是集群，但仅用于测试
在S3上，它只制作了两个文件夹，一个是step，另一个是node。
好的，将部署模式设置为客户端后，我在哪里可以找到 Spark 应用程序日志？

标签： apache-spark pyspark amazon-emr

【解决方案1】：

在客户端启用调试模式和运行脚本后，我可以在 Steps/Step_ID/stdout.gz 中看到 Spark 应用程序级别的日志

【讨论】：

【解决方案2】：

它应该始终在 /container 下，但如果找不到它，请尝试 ssh 主节点并运行 spark-submit

【讨论】：