Apache Nutch 重启爬取

Question

我在本地模式下运行 Apache Nutch 1.12。

我需要编辑种子文件以删除一个子域并添加一些新域，并希望从头开始重新开始抓取。

问题是每当我重新开始爬网时，爬网就会从我停止它的地方重新开始，它位于我删除的子域的中间。

我通过终止 java 进程 (kill -9) 停止了抓取 - 我尝试在 bin 目录中创建一个 .STOP 文件，但没有成功，所以我使用了 kill。

现在，每当我重新启动爬网时，我可以从输出中看到它正在重新启动作业停止的位置。我搜索了一下，发现停止了 hadoop 作业，但我的服务器上没有任何 hadoop 文件 - 对 hadoop 的唯一引用是 apache nutch 目录中的 jar 文件。

如何从一开始而不是从上次停止抓取的位置重新开始抓取？实际上，我想重新开始爬行。

非常感谢

Answer 1

要从头开始，只需指定不同的爬网目录或删除现有目录即可。

从种子列表中删除条目不会影响 crawldb 或段的内容。您可以在不从零重新启动的情况下删除域的方法是将模式添加到 url 过滤器，以便在更新步骤期间从 crawldb 中删除 URL，或者至少在生成步骤期间不选择。