在 AWS EMR 中启用 Spark Web UI

Question

我正在 EMR 集群上提交一个 Spark 作业，我想查看 Spark Web UI，它提供了有关主节点和工作节点的配置和状态的信息。

配置详情：
发布标签 ： emr-5.17.0
应用程序 ：火花2.3.1

集群启动后，唯一可点击的链接是集群的Connections in Summary页面下的“Enable Web Connection”。

选项 1：我尝试了“启用 Web 连接”中提到的步骤，但没有成功。

选项 2：我尝试在 Linux https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel-local.html 上使用本地端口转发设置到主节点的 SSH 隧道。我仍然无法打开 Sark UI 或资源管理器 Web 界面。

选项 3：我尝试使用选项 2 + 为 Firefox 配置 Foxy 代理 (https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-proxy.html)，但仍尝试通过键入 master-public-dns 后跟端口号或 URL (https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html) 来打开 Web 界面

谁能告诉我一步一步的过程，我怎样才能正确启用网络界面并查看监控 Spark 应用程序？

PS：我使用 Linux (Ubuntu) 和 Web 浏览器作为 Firefox

Answer 1

不需要做任何此类操作，只需尝试获取主节点URI即可。默认情况下，Spark UI 端口号为 4040。

您也可以从 spark 配置文件中获取此信息。

打开火花用户界面：http://driver-node:4040 以上将起作用，它还取决于权限，所以如果你有，那么你可以看到 UI。

Answer 2

如果您在工作中这样做，我假设您的工作对您的 AWS VPC 有端口限制。但是要使 SSH 隧道正常工作，您至少需要通过防火墙打开端口 22。您可以通过 SSH 连接到 EMR 主节点来检查。如果你能做到这一点，那么端口 22 是开放的。然后你可以按照第 1 部分和第 2 部分的选项 2，你应该能够连接。

https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel.html?shortFooter=true

有时，EMR 页面上显示的主 DNS 名称也可能不起作用。而是使用真实的IP地址 xx.xx.xx.xx:4040 或 8088 等