使用 Solr 和 Nutch 仅索引特定域

Question

我想用 Nutch 抓取一个网站，并用 Solr 将它编入索引。

我有一个网站，其结构如下：

首页：example.com

我要索引的文档：subdomain.example.com/{some_number}.html

为了“发现”所有这些文档，我从example.com/discover 开始，其中列出了许多我想要的文档。

所以我现在拥有的是：

在我的regex-urlfilter.txt 中，我设置为仅从 example.com 抓取文档，这非常有效

我使用 Solr 进行索引，一切正常。我使用以下命令：

./$nutch/bin/crawl -i -s $nutch/urls/ $nutch/ 5

我现在想要的是只索引格式为：subdomain.example.com/{some_number}.html 的文档，忽略其他所有内容（即我不想索引 example.com/discover）

我猜这是通过更改 Solr 中的一些配置来完成的，因为它是索引部分。

Answer 1

在这种情况下，可以在 Nutch 端进行配置。在将文档发送到 Solr 之前对其进行过滤。

如果您只想“索引”（意味着您想获取和解析所有链接，但只在 Solr 上存储与正则表达式匹配的链接），您可以使用 index-jexl-filter。使用这个插件，你可以写一个小的JEXL script 来检查文档的 URL 是否与你的正则表达式匹配，如果匹配，它将被发送到 Solr。

脚本可能类似于（在您的nutch-site.xml 文件中配置）：

url =~ "^https?:\/\/[a-z]+\.example.com\/(\d+).html"

• url 是 JEXL 上下文中可用的默认原语。您可以在 https://github.com/apache/nutch/blob/master/conf/nutch-default.xml#L1755-L1771 上找到有关此的更多信息

如果通过“索引”您真的只需要抓取与您的正则表达式匹配的 URL（如果不匹配，则不会获取或解析），那么您可以使用相同的 regex-urlfilter.txt 来定义所需的格式。请记住，使用这种方法，您需要再次运行爬网。