Lucene 同义词过滤器行为

Question

我想弄清楚 lucene 的分析器是如何工作的？ 我的问题是 lucene 如何处理同义词？情况如下： 我们有单字和多字

单人：foo = bar 多词：foo bar = foobar

对于单个单词：

• lucene 是否扩展索引记录？我猜如果一个查询有一个像“foo”这样的词，它也会在查询中添加“bar”。我不知道它是否发生在索引上？

对于多字：

• lucene 是否同时扩展查询和索引？例如，如果我们有“foo bar”，它是否会将 foobar 添加到索引/查询中？

我的第二个问题是：Lucene 使用令牌流并将它们提供给小写过滤器等过滤器。我的问题是 lucene 如何找到多个单词？比如它是如何发现“foo bar”是一个多词在一起的？

谢谢

Answer 1

SynonymFilter 可以选择保留原始单词，并将同义词也添加到令牌流中，方法是设置keepOrig=true（请参阅SynonymMap.Builder.add()）。此行为可能会导致 PhraseQueries 等出现问题，请参阅SynonymFilter 文档中的第一个注意。

如果您使用相同的Analyzer 进行查询和索引，那么写入索引的查询和文档当然会以相同的方式处理。 SynonymFilter 将 keepOrig 设置为 true 是为数不多的 Analyzers 之一，该Analyzers 经常在查询和索引之间不协调地应用，但这完全取决于您的实现。

就其实现方式而言，source code 可供您使用。