如何使用 apache Nutch 2.3 每天从网络上抓取 100 万份文档

Question

我已经用 hadoop 1.2.1 和 hbase 0.94.x 配置了 apache nutch 2.3。我必须爬几个星期的网页。大约需要抓取 100 万份文档。我有四个节点的 hadoop 集群。在此配置之前，我在单机上设置了 nutch 并爬取了一些文档。但是爬行速度不超过 50k 到 80k。 nutch的配置应该是什么，这样它才能每天抓取所需数量的文档。

Answer 1

一般情况下，您可以设置更大的TopN，也可以将nutch-site.xml中的<name>http.content.limit</name>更改为-1。

希望这会有所帮助，

乐国岛