【问题标题】:Web Scraping and http too many requests answerWeb Scraping 和 http 请求太多的答案
【发布时间】:2013-07-10 06:12:19
【问题描述】:

在进行网络抓取项目时,为了提取我需要的所有信息,我需要发出很多请求,但是服务器在大约 50 个请求后会回答 429 状态代码,指示错误“请求太多”,如何处理这个?

【问题讨论】:

    标签: c# http web-scraping webclient


    【解决方案1】:

    我的猜测是,您要么需要减慢请求的频率,要么需要匿名。如果您决定采用匿名化路线,我们的网站上有几篇文章将解释您的选择:

    How to surf and screen-scrape anonymously

    To Anonymize or to Not Anonymize

    【讨论】:

      【解决方案2】:

      也许您应该尝试使用 HideMyIP,并每隔 5 或 10 分钟更改一次 IP

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2020-04-19
        • 1970-01-01
        • 2021-09-04
        • 2020-10-07
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多