如何索引从 Apache Nutch 到 Solr 的爬网“html”？答案

【问题标题】：How to index crawled "html" from Apache Nutch to Solr?如何索引从 Apache Nutch 到 Solr 的爬网“html”？
【发布时间】：2021-03-02 21:47:36
【问题描述】：

我想将 Apache Nutch (v1.17) 抓取的网页的源代码编入索引，以在 Solr (8.6.3) 中编入索引，但不知道该怎么做？至少我只是得到一个准备好的版本，索引到 Solr content（见下文）。

{
  "tstamp":"2020-11-19T08:41:15.908Z",
  "digest":"fdc7532e799d4a3a434be4be67c36bb3b",
  "boost":1.0,
  .
  .
  .
  "content":"Algorithm Engineering Group ....",
 "_version_":16837969286885539843
}

我已经查看了 index-writers.xml，但我仍然不知道该怎么做。也许你知道怎么做。

【问题讨论】：

标签： html indexing solr nutch

【解决方案1】：

Nutch index tool 提供了一个命令行选项来索引网页的原始内容：

$> bin/nutch index
...
-addBinaryContent  index raw/binary content in field `binaryContent`
-base64            use Base64 encoding for binary content
...

注意：注意爬虫可能访问的 PDF 和其他二进制格式！

【讨论】：