如何使用 Lucene Solr 索引近 300 万个 xml 文件答案

【问题标题】：how to index almost 3 millions xml files with Lucene Solr如何使用 Lucene Solr 索引近 300 万个 xml 文件
【发布时间】：2011-10-20 14:07:39
【问题描述】：

我正在尝试使用 lucene solr 索引近 300 万个 xml 文件。当我尝试使用命令行“java -jar post.jar *.xml”时。机器没有响应。我该如何做索引？非常感谢。

【问题讨论】：

【解决方案1】：

Open library 项目不久前将大量书籍加载到 solr 中用于搜索目的。有一篇关于它的博客文章 here 可能对你有用。

【讨论】：

【解决方案2】：

将其分成更小的批次。例如。假设您的 XML 文件被命名为 aaa.xml 到 zzz.xml 并且分布均匀，首先发送“java -jar a*.xml”，然后发送“java -jar b*.xml”等。

【讨论】：

【解决方案3】：

您是否尝试过加载 3000 个文档？你成功了吗，用了多长时间？你还没有说文件有多大，所以不可能给出估计，但我看到数据库加载（不是 lucene，而是类似的）以每小时 100,000 个文档的速度运行。

【讨论】：