如何将 .xml 格式的维基百科文件索引到 solr

Question

我想将维基百科的 xml 文件索引到 Solr 中。

但是我收到一个错误，它无法索引。 Solr 具有特定的 xml 文件格式。我更改了schema.xml 和data-config.xml 文件以适应维基百科文件的标签。

仍然无法索引文件。我的实际意图是索引维基百科，它是一个 30 GB 的 xml 文件。

我将如何将所有维基百科文件索引到 Solr 中？

Answer 1

There's an example section in the DataImportHandler documentation for exactly this: indexing Wikipedia.

基本上，您使用 DataImportHandler 和一些 XPath 将您关心的元数据从 Wikipedia XML 中提取出来，并将其放入平面 Solr 字段列表中。