如何在使用中 IP 地址配额非常有限的 Google Cloud Platform 上创建大型（dataproc）集群？答案

【问题标题】：How to create a large (dataproc) cluster on Google Cloud Platform with very limited in-use IP address quota?如何在使用中 IP 地址配额非常有限的 Google Cloud Platform 上创建大型（dataproc）集群？
【发布时间】：2019-05-06 13:06:57
【问题描述】：

默认使用中的 IP 地址配额只有 8 个，但我想创建一个节点数超过 8 个的 Dataproc 集群。我试图请求更多的分配，但被拒绝了 xD

我尝试使用我的 VPC 网络（仅使用内部 IP 地址）创建集群，如 https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/network#create_a_cloud_dataproc_cluster_with_internal_ip_address_only 中所述

但问题是主节点无法通过 SSH 连接。有没有一种方法可以创建一个节点数量超过配额的集群，但是我也可以通过 SSH 连接到主节点？

非常感谢！ :)

【问题讨论】：

在您的 VPC 中设置 VPN。我使用 Google Marketplace 中提供的 OpenVPN。然后，您可以通过 SSH 连接到具有私有 IP 地址的实例。
谢谢你，约翰·汉利。我觉得你的方法很好！但是由于我想在主节点上运行的 Linux 脚本并不复杂，所以我决定在 Scala 中“导入 sys.process._”来运行 Linux bash 脚本并将代码包装在一个 jar 中，即在 Dataproc 中提交 Spark 作业

标签： google-cloud-platform ip ip-address google-cloud-dataproc

【解决方案1】：

如果您正在寻找对具有私有 IP 的 VM 的 SSH 访问，那么有一些详细的选项here。

一种选择是创建它所谓的“堡垒”或“跳转”主机虚拟机，该虚拟机连接到专用网络和可从您的计算机访问的虚拟机。你通过 SSH 进入堡垒，然后从那里连接到私人堡垒。

您也可以按照here 的说明使用 VPN。

【讨论】：