为 Apache-Nutch 爬虫设置深度

Question

如何为 Apache-Nutch Crawler 设置深度？

以下命令表示不推荐使用抓取：

bin/nutch crawl seed.txt -dir crawler/stat -depth 1 -topN 5

我尝试使用 bin/crawl 而不是 crawl。为此，我收到错误：

类无法加载：bin.crawl

Answer 1

如果你真的想设置最大深度，你应该使用评分深度插件。爬取脚本允许您定义迭代次数，这是深度的上限，但不是一回事。 抓取命令的正确格式是：

bin/crawl -s seed.txt crawler/stat 1

与其他 Nutch 脚本一样，只需运行不带参数的 bin/crawl 即可查看说明如何使用它的帮助消息。