Spark 作业未显示在 Google Cloud 的 Hadoop UI 中

Question

我在 Google Cloud 中创建了一个集群并提交了一个 Spark 作业。然后我连接到these instructions 之后的 UI：我创建了一个 ssh 隧道并用它来打开 Hadoop Web 界面。但是工作没有出现。

一些额外的信息：

1. 如果我通过 ssh 连接到集群的主节点并运行 spark-shell，这个“作业”确实会显示在 hadoop Web 界面中。
2. 我很确定我以前做过这个，我可以看到我的工作（正在运行和已经完成）。我不知道在他们停止出现之间发生了什么。

Answer 1

问题是我在本地模式下运行我的作业。我的代码有一个 .master("local[*]") 导致了这种情况。删除后，作业会像以前一样显示在 Hadoop UI 中。