Amazon EMR 上的 Apache spark Web UI 无法正常工作答案

【问题标题】：Apache spark Web UI on Amazon EMR not workingAmazon EMR 上的 Apache spark Web UI 无法正常工作
【发布时间】：2015-12-29 18:14:31
【问题描述】：

我们在 Amazon EMR 4.1 上使用 Spark。当访问纱线资源管理器上的应用程序主链接时，我们看到一个空白页面。使用 Firefox 调试，我们注意到我们收到了 HTTP 500 错误。我们已尝试为 AWS 配置代理设置，并将 URL 的内部主机名替换为外部主机名/IP 地址，但仍然无法访问 Web ui。

过去，我们在 EMR 3.x 版本上使用了相同的步骤。

【问题讨论】：

url是以ip还是ec2开头的？
感谢您的回复。 URL 以 ip- 开头。我也尝试在我的代理设置中添加 ip* 正则表达式
我想说重新开始，按照文档设置带有 ssh 隧道的 socks 代理，验证 RM 工作，然后运行示例 MapReduce 作业（可以只使用 s3-dist-cp）。看看它的 AppMaster URL 是否有效。如果是这样，则运行其中一个示例 Spark 应用程序并再次尝试 AppMaster URL。

标签： apache-spark emr

【解决方案1】：

问题好像是你的代理，我也遇到了同样的问题添加这个 sbt 存储库或 maven，无论你使用什么

SBT

"org.apache.hadoop" % "hadoop-yarn-server-web-proxy"

Maven

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-yarn-server-web-proxy</artifactId>
    <version>2.6.2</version>
</dependency>

它对我有用

【讨论】：

【解决方案2】：

ip* 是私有 IP 地址。您将无法直接访问它。您需要使用以 ec2 开头的公共 ip，或者您需要通过具有公共 ip 的服务器使用 ssh 隧道。

您使用的是 SSH 隧道吗？

当在任何地方添加新条目时，它适用于我的公共 ip。我相信它也适用于私人 ip

【讨论】：

我们已经尝试了这两种方法，用公共 IP 替换私有 IP 和使用 SSH 隧道，但它不能使用它。
您是否验证了安全组以查看是否启用了资源管理器的端口？
是的。只是确保它对 20888 开放，我们也尝试过打开所有 TCP-everywhere。仍然无法访问