Lucene：NRT 性能非常慢

Question

我正在我的应用程序中测试 NRT（近乎实时）搜索的性能，我得到了非常奇怪的结果。我将此查询用作获取所有元素的示例（测试集非常小，因此获取所有元素不应该成为问题，这是仅索引 250 个文件，仅文本文件，总索引大小 = 1.5MB，我需要支持的真正集合是用于多 GB 索引的数百个文件）

这是让我担心的示例查询：

    public static List<IndexableItem> GetAllElements()
    {
        var qp = new Lucene.Net.QueryParsers.QueryParser(Lucene.Net.Util.Version.LUCENE_29, "ProviderPath", analyzer);
        qp.AllowLeadingWildcard = true;
        var query = qp.Parse("*");

        var searcher = new Lucene.Net.Search.IndexSearcher(reader);
        List<IndexableItem> docs = new List<IndexableItem>();
        searcher.Search(query, new SimpleHitCollector(docId =>
        {
            docs.Add(reader.Document(docId).ToIndexable());
        }));
        return docs;
    }

如您所见，它非常简单。此查询的运行时间约为 0.1 秒，而索引未运行，但如果我同时运行索引，它会上升到 . . . . 45 秒或更长时间！

reader 变量是这样定义的属性：

    public static IndexReader reader 
    {
        get 
        {
            return writer.GetReader();
        }
    }

作家：

    static SearchIndexManager()
    {
        writer = new IndexWriter(FSDirectory.Open(@"C:\MyFolder"), analyzer, IndexWriter.MaxFieldLength.UNLIMITED);
    }

性能问题肯定在 lucene 内（它在 hitcollector 内，每个 docs.Add 行之间最多需要 1 秒）。 ToIndexable 也不是问题（这是一种微不足道的方法，完全不依赖于索引器可以使用的任何东西（磁盘 io 等）。

我很确定那里出了点问题，因为显然 NRT 的目标不是减速 450 倍，关于我应该在哪里寻找提示的任何建议？

更多信息：我不会在减速期间调用优化，并且“偶尔”即使在建立索引时我也会得到一个快速的答案，但当这种情况发生时它似乎很随机。我确实偶尔会调用一次提交（每 100 次插入）。

Answer 1

据我了解，近实时搜索适用于已更改但尚未提交更改的索引，搜索时不会发生进一步更改。这是 NRT 的最佳用法，我并不是说搜索不能与索引同时进行。如果搜索或阅读与索引同时发生，则它们是次优的。

考虑方法IndexReader.Reopen。它的目的是获得一个新的读者，如果索引正在改变或自从获得IndexReader 的旧实例以来已经改变。因此，如果您继续使用旧实例，您可能会错过您应该找到的文档，并且您正在从“移动目标”读取，因此性能缓慢。

你写道：

索引保留在 1 个文件中并不断增长（这是预期的行为），但一旦我启动搜索，它就会分裂，就像强制提交一样

当您从 IndexWriter 获得 IndexReader 时，它将刷新所有缓冲的更改 - 请注意，这不是提交。