在将其编入索引之前修改已抓取的 URL

Question

我正在使用 nutch 1.4。我想在索引之前操作抓取的 url。

例如，如果我的 URL 是 http://xyz.com/home/xyz.aspx，那么我想将 URL 修改为 http://xyz.com/index.aspx?role=xyz，并且只有后一个字段应该在 SOLR 中建立索引。原因是我不想公开第一个 URL。第二个 URL 最终会将其重定向到同一页面。

我们是否在 Nutch 中有一项规定，可以在将抓取的 URL 编入 SOLR 索引之前对其进行操作？

Answer 1

没有开箱即用的方法来修改提供给 solr 的值，除非您编写自定义插件来这样做。
但是，在将结果显示给用户之前，这可以在客户端轻松处理。