在 Dataproc 中，如何访问 Spark 和 Hadoop 作业历史记录？答案

【问题标题】：In Dataproc how can I access the Spark and Hadoop job history?在 Dataproc 中，如何访问 Spark 和 Hadoop 作业历史记录？
【发布时间】：2015-11-20 21:07:27
【问题描述】：

在Google Cloud Dataproc 中，我如何访问 Spark 或 Hadoop 作业历史服务器？我希望能够在运行作业时查看我的作业历史详细信息。

【问题讨论】：

标签： google-cloud-dataproc

【解决方案1】：

为此，您需要创建一个到集群的 SSH 隧道，然后在您的浏览器中使用 SOCKS 代理。这是因为当 Web 界面在集群上打开时，防火墙规则会阻止任何人连接（出于安全考虑）。

要访问 Spark 或 Hadoop 作业历史服务器，您首先需要创建一个到集群主节点的 SSH 隧道：

gcloud compute ssh --zone=<master-host-zone> \ --ssh-flag="-D 1080" --ssh-flag="-N" --ssh-flag="-n" <master-host-name>

一旦你有了 SSH 隧道，你需要配置一个浏览器来使用一个 SOCKS 代理。假设您使用的是 Chrome 并且知道系统上 Chrome 的路径，您可以使用 SOCKS 代理启动 Chrome：

<Google Chrome executable path> \
  --proxy-server="socks5://localhost:1080" \
  --host-resolver-rules="MAP * 0.0.0.0 , EXCLUDE localhost" \
  --user-data-dir=/tmp/

有关如何执行此操作的完整详细信息can be found here。

【讨论】：