如何使用 Cloud Run 或 Cloud Functions 访问在 GCP 服务上有 ip 阻止的网站答案

【问题标题】：How to access websites that have ip block on GCP services using Cloud Run or Cloud Funcions如何使用 Cloud Run 或 Cloud Functions 访问在 GCP 服务上有 ip 阻止的网站
【发布时间】：2021-08-15 04:39:15
【问题描述】：

我正在尝试使用 Google Cloud Functions 或 Cloud Run 访问网站。

但它似乎阻止了来自这些服务的 IP

本地代码运行良好。我尝试添加很多标头来模拟本地调用，但它不起作用。

部分标题：

--header 'Connection: keep-alive' 
--header 'Accept: /' 
--header 'X-Requested-With: XMLHttpRequest' 
--header 'Origin: <site fororigin>'
--header 'Referer: <site for referer>'
--header 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36' 
--header 'Content-Type: application/x-www-form-urlencoded; charset=UTF-8' 
--header 'Sec-Fetch-Site: same-origin' 
--header 'Sec-Fetch-Mode: cors' 
--header 'Sec-Fetch-Dest: empty'
--header 'Accept-Language: pt-BR,pt;q=0.9,en-US;q=0.8,en;q=0.7'

如果我在我的地区（南美洲）创建一个 VM，它也可以工作，但这个解决方案会产生很多自动化复杂性

有没有办法绕过 Ip 块？也许通过调用另一个服务器来更改 IP？

【问题讨论】：

只有当您知道哪些 IP 地址被阻止时，您才能制定使用不同 IP 地址的策略。如果对方不希望 Google IP 地址访问他们的服务器，则使用不同的云或提供商。很可能他们不想要“您的”流量并阻止了您。在这种情况下，更改 IP 地址将是一种短期解决方案。

标签： web-scraping google-cloud-platform google-cloud-functions google-cloud-run ip-blocking

【解决方案1】：

我编写了有关此主题的文档，其中解释了如何获取静态 IP 地址，您可以要求将其列入白名单，并将其用于 Cloud Run 上的出站连接。 https://cloud.google.com/run/docs/configuring/static-outbound-ip

这涉及通过 VPC 连接器将您的外部流量路由到具有一个或多个静态 IP 地址的 NAT 配置的 VPC。这样一来，Cloud Run 将在连接到外部端点时使用这些 IP。

【讨论】：

不确定每个组件的具体作用，但效果很好！不幸的是，由于新 IP，我不得不使用外部 IP 而不是实例名称来访问一些云 SQL 数据库。我将花一些时间来探索更多这些组件所做的事情。非常感谢！