我遇到了以下问题：我们在带有 RDS 数据库实例的 Amazon EC2 中型实例上托管电子商务，通常运行良好，但由于我们使用产品定时“发布”，一些用户正在使用机器人自动添加将物品放入购物篮并结帐，导致网站运行速度非常慢然后崩溃，基本上就像 ddos 攻击一样。最初很少有用户这样做，所以我在访问日志中找到了他们的 ip 并阻止了他们。现在这个词正在传播，我无法手动将 ips 添加到黑名单中，但我需要一种“专业”的方式来做到这一点。一些朋友建议我使用 Cloudflare，但我问是否有办法在 AWS 内部或直接使用 Apache 来执行此操作。 提前致谢
【问题讨论】：
标签： apache amazon-ec2 bots cloudflare ddos
大师，
这听起来像是一个你无法用通常的反抓取方法解决的问题，例如黑名单和速率限制。
为什么不：
黑名单：根据他们的 IP 类型（托管、开放代理），您可以使用您可以在互联网上轻松找到的黑名单之一（这些非常好 https://www.iblocklist.com/） .
但是，一旦他们得到一个块，就会切换到其他解决方案，直到他们找到一个没有被列入黑名单的 IP 地址（或上千个）。
限速： 您还可以尝试阻止每小时或每分钟执行超过 x 个请求的 IP 地址。但由于它们分布在大量 IP 地址上以避免被检测到，因此限制它们并不是很有帮助。
您可以做的是实施一个好的验证码系统，然后看看会发生什么。 这可以阻止这些爬虫，但请考虑那里有很多验证码求解器。(http://www.scrapesentry.com/scraping-wiki/common-methods-tools-break-captcha/)
另外， 另一种方法是阻止共享相同 session_id 的 IP 地址。 这是非常危险的，因为有 ISP 通过多个网关来平衡流量。
【讨论】：