Lucene 搜索会跳过一些结果

Question

我正在尝试构建一个通过 Lucene 索引实现搜索系统的应用程序。现在索引已建立，我可以在索引上搜索文档，一切似乎都工作正常，但是当我使用许多文档中使用的字段进行搜索时，分析器只返回一些文档。我尝试使用 Luke 进行相同的搜索并且行为方式相同。

即：我的索引有 2 个字段：

字段 A：唯一的标识符。 字段 B：一个字符串。

第一个例子：

我们有 5 个文件：

文档 1：字段 A：1；字段B：你好世界

文档 2：字段 A：2； FieldB：世界你好！

文档 3：字段A：3；字段B：你好世界

文件 4：FieldA:4；字段B：任何东西

文档 5：字段A：5；字段B：你好世界

当我进行像“B: hello world”这样的搜索时，它应该返回文档 1、3 和 5，但它只返回 1 和 3。

当我进行像“A: 5”这样的搜索时，它会返回文档 5，字段 B 的值是“hello world”。

第二个例子：（一个令牌）

文档 6：字段 A：6；字段B：令牌

文档 7：字段A：7；字段B：令牌

文档 8：字段A：8；字段B：TOKEN

文档 9：FieldA:9 FieldB:token

当我搜索 FieldB:"token" 时，它只返回 Doc 6 和 Doc 9。我能找到 Doc 7 的唯一方法是通过其 FieldA 进行搜索。

我正在使用 WhitespaceAnalyzer，并且两个字段都不是 NOT_ANALYZED。

IndexGenerator 主目录

...

IndexWriter writer = new IndexWriter(directory, new WhitespaceAnalyzer(), true, IndexWriter.MaxFieldLength.UNLIMITED);;
writer.setRAMBufferSizeMB(200);

List<Work> works = getWorks(); //Retrieves the information from the DB

for (Work work: works) {

   Document luceneDocument = createLuceneDocument(work);
   writer.addDocument(luceneDocument);

}
writer.commit();

...

CreateLuceneDocument 方法：

private static Document createLuceneDocument(Work work) {

 try {
   Document luceneDoc = new Document();

   ...

   Field id = new Field("ID", work.getId(),Field.Store.YES,Field.Index.NOT_ANALYZED);
   luceneDoc.add(id);

   Field name = new Field("NAME", work.getName(),Field.Store.YES,Field.Index.NOT_ANALYZED);
   luceneDoc.add(name);

   ...

   return document;

   }
   catch (LuceneException e) {
       ...
   }
}

我注意到未返回的文档的分值较低。假设在创建索引时这是一个问题，因为 Luke 的行为方式与应用程序相同，那么我做错了什么？

提前致谢！

Answer 1

我想我只是在这里给你我的怀疑，我想。您说您正在使用WhitespaceAnalyzer，但由于您的字段是NOT_ANALYZED，因此该分析器不会对索引内容做任何事情。它们按原样作为单个标记准确地编入索引。

如果您正在索引值“hello there”，则在“hello”上使用TermQuery 搜索将找不到任何内容。如果您索引了“Hello”、“hello！”甚至“hello”，它也不会找到任何东西。它将区分大小写、标点符号、空格等，并且需要对整个输入进行匹配。所以我怀疑，您未找到的文档在这些方面存在问题。

Answer 2

Lucene 会将搜索表达式B:hello world 解析为B:hello D:world，即两个词的表达式。这里 D 是默认搜索字段，可能是您对@femtoRgon 答案的评论中提到的“另一个Field”。

我猜结果包括文档 1 和 3，因为它们匹配字段 D 中的标记“world”，但文档 5 字段 D 中不存在此标记。但这只有在默认搜索运算符为 OR not 时才有可能并且，因为B:hello 无法匹配这些文档。

使用短语表达式：B:"hello world"，您可能会得到您期望的结果。但你可能不会； WhitespaceAnalyzer 在构建 Query 对象时会将这个短语分成两个标记。

您可以通过对字段 B 使用KeywordAnalyzer 来解决此问题，如我的answer to another question 中所述。