【发布时间】：2017-03-22 14:24:22
【问题描述】：
使用 python 请求模块（获取函数）我正在抓取链接，即爬虫。我使用脚本发出多个请求。由于我提出了太多请求，Google 干预了 CAPTCHA，该验证码在一段时间后被重置。我正在使用时间模块在每次请求后让代码休眠一段时间以避免它。我想知道什么时候最适合让脚本进入休眠状态，这样 Google 就不会将其视为无效流量？ （我使用的是大学代理服务器）
【问题讨论】：
-
Google 使用多个参数来确定异常流量。他们显然没有分享这些参数是什么，但我认为请求延迟并不是最重要的。 User-Agent、JS、referer呢？如果你不碰这些，它会尖叫“我是机器人”。
标签： python web-crawler python-requests google-crawlers