为 Google Cloud VM 实例设置自定义外部 IP 地址以进行网络抓取答案

【问题标题】：Setting a custom external IP address for Google Cloud VM instance to do web scraping为 Google Cloud VM 实例设置自定义外部 IP 地址以进行网络抓取
【发布时间】：2021-03-28 05:12:33
【问题描述】：

我正在尝试使用 Google Cloud VM 实例进行网络抓取。但是，我试图抓取的网站非常敏感，因此它已经将所有公开的 IP 地址都列入了黑名单。

即使只是使用requests 发送一个 GET 请求也会被列入黑名单。如何在我的 VM 上设置自定义 IP 地址？

我已阅读 GCP 自己的指南和教程，但我不确定我是否理解正确。

我是整个云计算和 IP 的新手，但我真的很想完成这项工作。谁能帮帮我？

【问题讨论】：

标签： http web-scraping google-cloud-platform python-requests ip

【解决方案1】：

您可以通过保留静态 IP 地址来设置公共 IP 地址。

但它不支持“自定义”IP地址，你只能接收随机IP地址。

请参阅here 以获取有关如何保留静态 IP 地址并将其附加到 VM 实例的信息。

在您的情况下，您似乎需要很多 IP 地址发送每个请求时，您必须附加不同的静态 IP 地址。

你可以在here查看你的ip地址配额，然后再预留很多地址

【讨论】：