Nutch - 为什么我的 url 排除项不排除那些 url？

Question

惊喜！我还有另一个 Apache Nutch v1.5 问题。因此，在通过 Nutch 将我们的网站抓取并索引到 Solr 时，我们需要能够排除任何属于特定路径的内容。

假设我们有我们的网站：http://oursite.com/，并且我们有一条我们不想在http://oursite.com/private/索引的路径

我在seed.txt 文件中有http://oursite.com/，在regex-urlfilter.txt 文件中有+^http://www.oursite.com/([a-z0-9\-A-Z]*\/)*

我认为将：-.*/private/.* 也放在regex-urlfilter.txt 文件中会排除该路径及其下的任何内容，但爬虫仍在获取和索引/private/ 路径下的内容。

我需要在服务器上进行某种重启，比如 Solr 吗？还是我的正则表达式实际上不是正确的方法？

谢谢

Answer 1

我的猜测是第一个正则表达式接受了 url，而不再检查第二个。如果您想拒绝 URL，请将其正则表达式放在列表的首位。