【发布时间】：2010-04-20 23:27:03
【问题描述】：
我们正在使用网络抓取工具，并设置了一个休眠功能，该功能设置了一个随机功能（因此每次抓取之间的时间不一样），但我们仍然在 20 后被雅虎屏蔽-30 个请求。
有谁知道是否有限制（即：每分钟 20 个请求，每小时 200 个）现在我们每个请求之间的平均时间约为 3-6 秒。感谢您的帮助
【问题讨论】：
-
所以，为了清楚起见，您是在问我们如何违反雅虎的服务条款而不被抓到？
-
是的...这正是我要问的。
-
如果 Yahoo Pipe 已被用作抓取工具的一部分，则每个 IP 每 10 分钟只能处理 200 个请求{或 10 分钟内每个管道 200 个请求}
标签： asp.net visual-studio-2008 screen-scraping web-scraping