如何查看 AWS Glue Spark UI答案

【问题标题】：How to view AWS Glue Spark UI如何查看 AWS Glue Spark UI
【发布时间】：2020-03-15 02:36:48
【问题描述】：

在我的 Glue 作业中，我启用了 Spark UI 并指定了 Spark UI 工作所需的所有必要细节（s3 相关等）。
如何查看我的 Glue 作业的 DAG/Spark UI？

【问题讨论】：

【解决方案1】：

您需要设置一个可以托管历史服务器的 ec2 实例。

以下文档包含指向您可以使用的 CloudFormation 模板的链接。 https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

您可以通过 ec2 实例访问历史服务器（默认为 18080）。您需要适当地配置网络和端口。

编辑 - 还有一个选项可以在本地设置 SparkUI。这需要从 aws-glue-samples repo 下载 docker 映像并在那里设置 AWS 凭证和 s3 位置。此服务器使用胶水作业生成的文件。这些文件大约 4MB 大。

【讨论】：

非常感谢 jay.cs 的回复。我认为如果 AWS 可以直接从 Glue 控制台查看 Spark UI，那将是非常有益的。 Glue 开发人员只是提供开发人员访问权限，并且永远不允许启动 CF 堆栈。 AWS 在这方面本可以做得更好。接受并结束我的问题。谢谢
是的，文档具有误导性。它谈到了设置 UI，但它指示您做的只是启用从 dev 端点 spark 实例到 S3 的日志流。当你使用端点开发笔记本时，你会得到一个 UI 服务器 URL，但至少对我来说，它是不可访问的。我不知道 URL 应该连接到什么，文档中的下一页告诉您设置历史服务器并将其指向日志。