【问题标题】:Cloudflare denies my access when I scraped a website当我抓取网站时,Cloudflare 拒绝我的访问
【发布时间】:2021-10-13 04:28:39
【问题描述】:

我用cloudscraper 抓取了这个网站oddschecker。我在我的电脑上本地运行它,它工作正常。但是当我使用 Digital Ocean VPS 时,Cloudflare 拒绝了我的访问,并显示一条错误消息:

访问被拒绝

此网站正在使用安全服务来保护自己免受在线攻击。

我不确定这意味着什么 - Cloudflare 是否阻止了我的 VPS 的 IP 地址?我必须使用代理来抓取它吗?

【问题讨论】:

    标签: web-scraping cloudflare vps


    【解决方案1】:

    是的,您看到的这个错误是由 Cloudflare firewall rule that you are hitting 引起的。 Cloudflare 防火墙列出了 20 个不同的触发器来阻止/允许请求,因此很难确切地说在这种情况下是否是被阻止的 IP 触发器,但通常情况就是这样。查看一些示例here

    如果您甚至无法从一开始就使用新的 IP 地址/VPS 访问该网站,则触发器可能与您的请求行为有关,而不是与来源有关 - 例如。速率限制(尽管在这种情况下错误消息会有所不同)、每分钟的请求数、用于访问的方法、网络块 (ASN) 的信誉等。

    【讨论】:

    • 是的,这很奇怪。我在本地运行它,即使我反复运行它也能正常工作。
    猜你喜欢
    • 2021-07-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多