【发布时间】：2013-05-23 08:37:58
【问题描述】：
我使用 nutch 1.6 进行爬网，使用 solr 3.6.2 对爬网的网址进行索引。
但是，我只想保留包含details 的网址。
我所做的是向nutch/conf/regex-urlfilter.txt 添加许多（很多）过滤器。
我想知道是否有更好的解决方案，即使我应该抓取所有数据（url），然后在 Solr 中只过滤一次重要的（在Solrindex 命令中）。
【问题讨论】：
【发布时间】：2013-05-23 08:37:58
【问题描述】：
如果您不需要这些页面，最好从索引本身中过滤掉。
但是，如果您有可以在 Solr 中过滤的模式，则可以使用 filter queries 进行过滤。
【讨论】：
-
如果您没有过滤模式，则需要在 nutch 级别进行过滤。如果您只是索引所有页面并在 Solr 过滤它。另一个问题是你会需要这些页面吗？如果不是，那为什么要索引它们？
-
我不需要它们，如何仅索引相关页面。
-
将其添加到正则表达式 urlfilter 是唯一的方法，您也可以在此处使用正则表达式模式
-
这就是我所做的。我想没有办法只索引一组网址。