如何让 apache nutch 永远爬行

Question

我正在使用 apache nutch (2.2.1) 进行爬行。如果我想永远爬行，需要什么改变。完全指导我，因为我不熟悉 nutch too mutch。

Answer 1

如果你想永远爬，下面是你需要的脚本：

#!/bin/bash

./bin/nutch inject urls #urls is the seed data
while [ 1 == 1 ]
do
   ./bin/nutch generate -topN 10000 # 10000 is the number of URLs will be fetch in each crawling round, you can modify it
   ./bin/nutch fetch -all
   ./bin/nutch parse -all
   ./bin/nutch updatedb

done

希望对你有帮助

乐国岛