考虑 stopwords.txt 中包含多个单词的短语

Question

我配置了一个 stopwords.txt，它工作正常。

问题是当我想搜索一个只为 stopwords.txt 中包含的单词组成的短语时。 Solr 没有返回结果。 例如，在 stopwords.txt 我有这样的话：

other
the
cat

当我搜索：cat 时，Solr 会省略结果，the 和 cat 也是如此。没关系。

但是当我搜索：the cat 时，Solr 也在做同样的事情，省略了结果，而这正是我想要避免的。我希望所有包含猫的东西都被退回。

提前致谢

PS：这是我的配置行

<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" /> 

Answer 1

StopFilterFactory 评估每个标记，并确定该标记是否与停用词之一完全匹配。要在搜索中保留短语“the cat”，您需要确保它没有被标记为“the”和“cat”，并且有多种方法可以做到这一点。

我建议的方法是在您的分析中使用SynonymFilterFactory 在StopFilterFactory 之前修改短语：

<filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt"
                                            ignoreCase="true" expand="false"/>

synonyms.txt 中定义的规则可以作用于多个标记是序列。比如这条规则出现在synonyms.txt：

the cat => thecat

那么双标记序列“the cat”将被单标记“thecat”替换。因为“thecat”不是您的停用词之一，StopFilterFactory 不会对其采取行动。

如果您采用这种方法，那么在您的索引和查询分析中应用此过滤器（如果它们首先不同）非常重要。这样，包含“the cat”的文档将在索引中包含“thecat”，搜索“the cat”的用户将在其应用查询中包含“thecat”。