在 AWS 上运行 spark 时如何访问监控 Web UI答案

【问题标题】：How to access monitoring web UI when running spark on AWS在 AWS 上运行 spark 时如何访问监控 Web UI
【发布时间】：2015-07-03 01:52:44
【问题描述】：

我正在从 AWS EC2 运行 spark。正如火花文档所说

“每个驱动程序都有一个 Web UI，通常在端口 4040 上，显示有关正在运行的任务、执行程序和存储使用情况的信息。只需在 Web 浏览器中转到 http://:4040 即可访问此 UI”

我的问题是：这个“驱动节点”是什么？我以为是驱动节点xx.xx.xxx.xx的公网IP。但是当我使用http://xx.xx.xxx.xx:4040时，我不断收到页面未找到错误

请帮忙。

【问题讨论】：

标签： amazon-web-services apache-spark monitoring

【解决方案1】：

记得创建一个安全组并分配给它，并打开入站端口，例如 0.0.0.0/0 和端口 4040

那你用它的公网IP访问应该没问题，比如：

http://54.xx.xx.xx:4040

0.0.0.0/0是对所有人开放的，你可以把它改成自己的IP或者其他ip范围来限制流量。

【讨论】：

【解决方案2】：

我和你有同样的问题。最终，应该替换为您的 IP 地址。

但不是您在谷歌上搜索“我的 IP 地址是什么”后的 IP 地址。您应该在命令行中执行 ipconfig 并在 URL 中使用该 IP 地址。

如果您没有运行有效的 sparkContext (sc)，UI 将返回错误

【讨论】：

【解决方案3】：

或者

到远程/ec2端口的ssh隧道，例如，

ssh -i "c:\path\to\keypair.pem" -N -L \
  4040:ec2-##-###-###-##.us-east-2.compute.amazonaws.com:4040 \
  ec2-user@ec2-##-###-###-##.us-east-2.compute.amazonaws.com

然后只需将浏览器连接到http://localhost:4040/

【讨论】：