将 URL 参数添加到 Nutch/Solr 索引和搜索结果

Question

我找不到任何关于如何设置 nutch 以不过滤/删除我的 URL 参数的提示。我想抓取和索引一些页面，其中很多内容隐藏在相同的基本 URL 后面（如 /news.jsp?id=1 /news.jsp?id=2 /news.jsp?id=3 em> 等等）。

• regex-normalize.xml 仅删除 URL 中的冗余内容（如会话 ID 和尾随？）
• regex-urlfilter.txt 似乎对我的主机有一个通配符(+^http://$myHost/)

到目前为止，抓取工作正常。有什么想法吗？

干杯， 法力

编辑：

这里隐藏了部分解决方案：

configuring nutch regex-normalize.xml

# skip URLs containing certain characters as probable queries, etc.
-[?*!@=]

必须修改。必须允许 URL 参数中可能存在的所有字符，例如“？”和'='。新行看起来像

-[*!@]

现在使用参数抓取页面。但是它们还没有通过参数发送到 Solr（Solr 仍然从链接中删除参数）

EDIT2：

Nutch 在如何处理相对 url ('?param=value') 方面存在一些问题。仍然停留在那个 Parameter 事情上：

查看恶意列表：http://search.lucidimagination.com/search/document/b6011a942b323ba3/problem_with_href_param_value_links

Answer 1

您可以在 Nutch 过滤器中创建一个自定义字段来保存整个 URL。只要您在 Solr 模式中使用 store="true" 定义相同的字段，它就会显示在您的结果中。见WritingPluginExample-1.2。

如果您需要帮助，请告诉我。