Web UI(http://localhost:8088) 未显示 Spark 应用程序答案

【问题标题】：Web UI(http://localhost:8088) is not showing Spark ApplicationsWeb UI(http://localhost:8088) 未显示 Spark 应用程序
【发布时间】：2014-09-23 06:35:01
【问题描述】：

我的笔记本电脑中有伪分布式hadoop 2.2.0环境设置。我可以运行mapreduce应用程序（包括Pig和Hive作业），应用程序的状态可以从Web UIhttp://localhost:8088看到

我已经下载了 Spark 库，并且只是将文件系统-HDFS 用于 spark 应用程序。当我启动 spark 应用程序时，它正在启动并且执行也按预期成功完成。

但 Web UI http://localhost:8088 没有列出已完成/启动的 Spark 应用程序。

请建议是否需要任何其他额外配置才能在 Web UI 中查看 Spark 应用程序。

（注意：http://localhost:50070this Web UI 在尝试通过 Spark 应用程序将文件写入 HDFS 时正确显示文件）

【问题讨论】：

能否提供更多关于提交脚本和spark配置的信息？
嗨，我已经执行了以下脚本（作为 Spark 的示例脚本出现）... >>run-example SparkPi 2 spark://localhost。我没有专门为Spark.Just 将 Spark 的 bin 位置添加到 PATH 变量中。剩余的配置属性来自 Hadoop（我的意思是 HDFS 和 map reduce 属性）。请建议 Spark 应用程序是否需要任何 xml 文件配置才能被记录（我是Spark 的新手！！）。

标签： scala hadoop mapreduce apache-spark

【解决方案1】：

如果不是其他刚开始使用 Spark 的人，您可能已经明白了。您可以在

上查看所有 Spark 作业

http://localhost:4040

在您的 spark 上下文启动后（端口可以不同，例如 4041）。基于独立安装，您可以在

上查看主从状态

http://localhost:8080

（对于从端口通常是 8081 以后）。您需要 Spark 提交作业到 yarn-cluster 或客户端才能在 hadoop webservices 上看到相同的内容。

【讨论】：

这似乎适用于基于 shell 的驱动程序（pyspark、spark-shell 等），但不适用于已启动的应用程序。