【发布时间】：2011-10-18 21:07:50
【问题描述】：
Lucene 是否能够索引 500M 个文本文档，每个文档大小为 50K？
对于单词搜索和 10 词搜索，此类索引的预期性能如何？
我是否应该担心并直接转移到分布式索引环境？
萨尔
【问题讨论】：
标签： lucene
【发布时间】：2011-10-18 21:07:50
【问题描述】：
是的，Lucene 应该能够处理这个问题，根据以下文章： http://www.lucidimagination.com/content/scaling-lucene-and-solr
这是一个引用：
根据多种因素，单台机器可以轻松托管 5 到 80+ 百万个文档的 Lucene/Solr 索引，而分布式解决方案可以为数十亿个文档提供亚秒级的搜索响应时间。
本文深入探讨了如何扩展到多台服务器。因此，您可以从小处着手，并在需要时进行扩展。
关于 Lucene 性能的一个很好的资源是 Mike McCandless 的博客，他积极参与了 Lucene 的开发：http://blog.mikemccandless.com/ 他经常使用 Wikipedia 的内容 (25 GB) 作为 Lucene 的测试输入。
此外，Twitter 的实时搜索现在使用 Lucene 实现可能会很有趣（请参阅 http://engineering.twitter.com/2010/10/twitters-new-search-architecture.html）。
但是，我想知道您提供的数字是否正确：5 亿文档 x 50 KB = ~23 TB -- 您真的有这么多数据吗？
【讨论】：
-
可能直接移到ElasticSearch，基本上是分布式Lucene解决方案
-
这篇文章不清楚的是，普通的基于 Lucene 的应用程序是否真的适合负载。作者继续使用 Lucene/Solr。那么在这种情况下，就像在底层结构是 Lucene 索引的 Elasticsearch 的情况下，我们可以说 Lucene 是处理巨大索引的正确选择的假设是正确的吗？
-
无论是 Solr 还是 ES 都是分布式 Lucene 索引。所以实际上这两个框架提供的更高层次的抽象使得 Lucene 适合一个巨大的索引。