【问题标题】:AWS rotate ip address on each request (api gateway + lambda)AWS 在每个请求上轮换 ip 地址(api 网关 + lambda)
【发布时间】:2023-02-04 08:26:28
【问题描述】:

我正在创建一个调用公共 API 的抓取工具。我想要一个代理 IP 池,我可以用它来发送每个请求。我的请求间隔应该在10s左右,允许每个IP每分钟发送一次请求。因此,拥有 6 个 ip 的池就足够了。

我的设置是一个 EC2 服务器,它向调用 lambda 函数的 API 网关发送请求。

有没有办法让我设置它以便每个 lambda 请求都是从不同的 ip 发送的

假设我从 08:00:00 开始投票

08:00:00 - 0.0.0.1
08:00:10 - 0.0.0.2
08:00:20 - 0.0.0.3
08:00:30 - 0.0.0.4
08:00:40 - 0.0.0.5
08:00:50 - 0.0.0.6
08:01:00 - 0.0.0.1
etc.

还是我完全看错了方向,我有没有不同的方法来解决这个问题?

【问题讨论】:

    标签: amazon-web-services web-scraping proxy


    【解决方案1】:

    来自 Lambda 的出站请求将来自不同的 IP 地址,只要它们在不同的 Lambda 实例上运行即可。您可以让 Lambda 将最少数量的实例保持在读取到运行状态,但需要支付额外费用。但是您没有将特定请求路由到特定 Lambda 实例的机制。

    由于您正在运行一个 EC2 实例,您可以将多个公共 IP 地址绑定到它,然后将每个出站请求依次路由到下一个。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-10-07
      • 2011-11-19
      • 1970-01-01
      • 2016-10-13
      • 2021-08-06
      • 2023-01-05
      • 2019-07-09
      • 1970-01-01
      相关资源
      最近更新 更多