当我抓取网站时，Cloudflare 拒绝我的访问

【问题标题】：Cloudflare denies my access when I scraped a website当我抓取网站时，Cloudflare 拒绝我的访问
【发布时间】：2021-10-13 04:28:39
【问题描述】：

我用cloudscraper 抓取了这个网站oddschecker。我在我的电脑上本地运行它，它工作正常。但是当我使用 Digital Ocean VPS 时，Cloudflare 拒绝了我的访问，并显示一条错误消息：

访问被拒绝

此网站正在使用安全服务来保护自己免受在线攻击。

我不确定这意味着什么 - Cloudflare 是否阻止了我的 VPS 的 IP 地址？我必须使用代理来抓取它吗？

【问题讨论】：

标签： web-scraping cloudflare vps

【解决方案1】：

是的，您看到的这个错误是由 Cloudflare firewall rule that you are hitting 引起的。 Cloudflare 防火墙列出了 20 个不同的触发器来阻止/允许请求，因此很难确切地说在这种情况下是否是被阻止的 IP 触发器，但通常情况就是这样。查看一些示例here。

如果您甚至无法从一开始就使用新的 IP 地址/VPS 访问该网站，则触发器可能与您的请求行为有关，而不是与来源有关 - 例如。速率限制（尽管在这种情况下错误消息会有所不同）、每分钟的请求数、用于访问的方法、网络块 (ASN) 的信誉等。

【讨论】：

是的，这很奇怪。我在本地运行它，即使我反复运行它也能正常工作。