【发布时间】:2013-07-10 06:12:19
【问题描述】:
在进行网络抓取项目时,为了提取我需要的所有信息,我需要发出很多请求,但是服务器在大约 50 个请求后会回答 429 状态代码,指示错误“请求太多”,如何处理这个?
【问题讨论】:
标签: c# http web-scraping webclient
在进行网络抓取项目时,为了提取我需要的所有信息,我需要发出很多请求,但是服务器在大约 50 个请求后会回答 429 状态代码,指示错误“请求太多”,如何处理这个?
【问题讨论】:
标签: c# http web-scraping webclient
我的猜测是,您要么需要减慢请求的频率,要么需要匿名。如果您决定采用匿名化路线,我们的网站上有几篇文章将解释您的选择:
【讨论】:
也许您应该尝试使用 HideMyIP,并每隔 5 或 10 分钟更改一次 IP
【讨论】: