将大量 xml 文件索引到 solr 5

Question

我正在尝试将大约 100 万个 xml 文件索引到 Solr 5。我可以想到几种方法：

1. 将所有xml文件转储到一个目录中，然后使用post.jar
2. 在我看来，数据导入处理程序也可以用于递归导入 xml 文件

还有其他方法吗？

Answer 1

您的问题是如何使用 solr 索引一百万个 xml 文件。

即使具有递归文件夹结构，您也可以使用bin/post-工具。

如果它有足够的功能：很好。如果您需要更多特殊功能构建自己的索引器，尤其是使用solrj，这很容易。

如果您有足够的主内存，您可以使用DataImportHandler 和FileListEntityProcessor。 “FileListEntityProcessor”首先收集所有文件，然后运行真正的索引。因此，在您的情况下，第一步将在您的主内存中放置一百万个“文件”实例。