将 AWS 服务器变成代理服务器，用于使用 Scrapy 进行爬网

Question

我只是想知道是否有人知道如何配置 Amazon Web Services 服务器以供 Scrapy 爬虫用作代理服务器？我不想被我正在抓取的网站列入黑名单，所以我需要使用代理服务器。我只是不确定如何将 AWS 服务器变成代理服务器。谢谢！！

Answer 1

通过 EC2 实例代理 HTTP 流量的最简单方法是使用 tinyproxy，尽管不如使用 TOR 或 anonymous vpn 安全。你可以找到walkthrough here。

请注意，如果您根据Trespass to chattels 故意违反这些条款，那么以违反网站使用条款或以其他方式影响其网站功能的方式进行抓取可能会构成法律责任。

Answer 2

请记住，您为流量付费，并且在来自同一 IP 的重复请求过多之后，该 IP 将被禁止。