【发布时间】:2015-03-06 04:15:42
【问题描述】:
我正在 AWS 托管服务器上运行一些网络爬取作业。爬虫从电子商务网站抓取数据,但最近爬虫从该网站获取“超时错误”。该网站可能根据我的 IP 地址限制了我的访问频率。分配一个新的 Elastic-IP 地址可以解决问题,但不会长久。
我的问题:是否有任何服务可用于自动和动态地分配新 IP 并将其关联到我的实例?谢谢!
【问题讨论】:
-
你考虑过使用tor吗?
-
@Gas 谢谢!如果我选择不使用 Tor 浏览器,它会起作用吗?我的爬虫(用 Java 编写)直接向目标网站发送 HTTP 请求,而不是调用真正的浏览器。
-
@UriAgassi,谢谢,我知道我可以在管理控制台或使用 CLI 工具分配新的 Elastic-IP。有没有可以自动执行此操作的工具?或者基本上我需要编写自己的脚本?谢谢
-
你应该编写自己的脚本
标签: amazon-web-services amazon-ec2 cloud-hosting dynamic-ip