【发布时间】:2023-02-04 08:26:28
【问题描述】:
我正在创建一个调用公共 API 的抓取工具。我想要一个代理 IP 池,我可以用它来发送每个请求。我的请求间隔应该在10s左右,允许每个IP每分钟发送一次请求。因此,拥有 6 个 ip 的池就足够了。
我的设置是一个 EC2 服务器,它向调用 lambda 函数的 API 网关发送请求。
有没有办法让我设置它以便每个 lambda 请求都是从不同的 ip 发送的
假设我从 08:00:00 开始投票
08:00:00 - 0.0.0.1
08:00:10 - 0.0.0.2
08:00:20 - 0.0.0.3
08:00:30 - 0.0.0.4
08:00:40 - 0.0.0.5
08:00:50 - 0.0.0.6
08:01:00 - 0.0.0.1
etc.
还是我完全看错了方向,我有没有不同的方法来解决这个问题?
【问题讨论】:
标签: amazon-web-services web-scraping proxy