抓取网站时的点击次数...？

Question

我正在创建一个简单的应用程序，我必须在其中跟踪页面中的链接等等......因此构建了一个非常基本的网络爬虫原型。

当我测试它时，我遇到了robot.txt，它对任何试图爬取其网站的外部爬虫都已达到限制。例如，如果一个网站的 robots.txt 对给定 IP 的命中限制不超过每秒 1 次命中（如 wikipedia.org 的命中），并且如果我以每秒 1 页的速度抓取 Wikipedia 的几页，那么我如何估计在我爬行时会发生多少次点击？

问题：如果我通过python的urllib下载一整页，会占多少点击量？

这是我的示例代码：

import urllib.request
opener = urllib.request.FancyURLopener({})
open_url = opener.open(a)
page = open_url.read()
print page

Answer 1

如果您从带有urllib 的站点下载整个页面，它将被视为一 (1) 次点击。

将页面保存到一个变量中，从现在开始使用这个变量。

此外，我建议您使用requests 而不是urllib。更容易/更好/更强。

链接到documentation of Requests。

Answer 2

您可以做的一件事是在两个请求之间设置一个时间间隔，这将解决您的问题，并且还可以防止您被阻止。