【问题标题】:Why is my leading wildcard search failing in Solr?为什么我的领先通配符搜索在 Solr 中失败?
【发布时间】:2013-01-29 18:34:10
【问题描述】:

我定义了一个文本字段,我使用 copyField 填充各种源字段,目标是让这个字段成为我用来搜索 Solr 索引的字段。

此文本字段被定义为使用此自定义字段类型“text_en_splitting_reversed”。我通过复制示例“text_en_splitting”并将 ReversedWildcardFilterFactory 添加到索引分析器来创建此字段类型。

<!-- Just like text_en_splitting, but with the addition of reversed tokens for leading wildcard matches -->
<fieldType name="text_en_splitting_reversed" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="true">
  <analyzer type="index">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <!-- in this example, we will only use synonyms at query time
    <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
    -->
    <!-- Case insensitive stop word removal.
      add enablePositionIncrements=true in both the index and query
      analyzers to leave a 'gap' for more accurate phrase queries.
    -->
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="lang/stopwords_en.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1" types="word-delim-types.txt" />
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
    <filter class="solr.PorterStemFilterFactory"/>
    <filter class="solr.ReversedWildcardFilterFactory" withOriginal="true"
       maxPosAsterisk="3" maxPosQuestion="2" maxFractionAsterisk="0.33"/>
 </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="lang/stopwords_en.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"  types="word-delim-types.txt" />
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
    <filter class="solr.PorterStemFilterFactory"/>
  </analyzer>
</fieldType>

我的主要问题:当我使用前导通配符进行搜索时,我得到了意想不到的结果。例如,我知道我对“*car”进行的一次特定搜索应该返回一个匹配项(文档包含单词“racecar”)。由于这失败了,我决定在 Solr Admin 的分析器工具中对其进行调试。这是我的测试截图:

我是这个分析工具的新手,但右侧不应该一直保留前导星号吗?为什么这最终不匹配?我是否应该对用户输入的关键字进行反向处理?

现在,在我的索引查询配置中,我设置为使用 edismax。但是,在管理分析器 gui 中,我看不到控制它是使用标准解析器还是 edismax 的方法。 (也许没关系?)

如果这些信息可能有助于提供更多上下文,我将为这个被索引的特定字段降低我的目标:

  • 我希望 *car 匹配赛车。 这不起作用。
  • 我希望 $30 匹配包含 $30 的文档,但不匹配包含 30 的文档(前面没有美元符号)。所以我添加了一个 types="" 属性,我将 $ 定义为 DIGIT。这正在工作。
  • 我想要 30 来匹配包含 $30 的文档。 这不起作用。

【问题讨论】:

    标签: solr tokenize lucene


    【解决方案1】:

    最终,主要的通配符问题是我们搜索引擎前端的一个错误。在将查询提交给 Solr 之前,我们有一些代码将所有关键字或短语用引号括起来。这样,如果输入了一个短语,它将被引号包围,并且可以正常工作。而且它对常规关键字搜索没有影响。

    但显然,如果它是通配符搜索,在它周围加上引号会导致搜索由于某种原因而失败。当我删除引号时,*car 正在匹配包含 racecar 的帖子。

    关于我的次要问题(为什么“30”不匹配包含“$30”的文档),我还在单独的 StackOverflow 线程中解决了这个问题:How do I find documents containing digits and dollar signs in Solr?

    顺便说一句,我认为 Solr 分析管理 gui 中存在错误。在测试领先的通配符搜索时,我永远无法得到任何突出显示,表明会进行匹配......这进一步增加了我试图调试问题的困惑。

    【讨论】:

      【解决方案2】:

      从您的屏幕截图中,很明显 WordDelimiterFilterFactory 已经剥离了您的前导 *.尝试将preserveOriginal="1" 添加到您的查询分析器端,即

      <filter class="solr.WordDelimiterFilterFactory" 
          preserveOriginal="1" 
          generateWordParts="1" 
          generateNumberParts="1" 
          catenateWords="0" 
          catenateNumbers="0" 
          catenateAll="0" 
          splitOnCaseChange="1" 
          types="word-delim-types.txt" />
      

      【讨论】:

      • 好的,我添加了这个,在分析器工具中,它现在显示 *car 一直到右侧的底部,但左列没有突出显示。我认为这意味着它仍然不匹配,但我也使用我们的实际搜索界面对其进行了测试,事实上,当我搜索 *car 时,它仍然不匹配包含“racecar”的文档。还有其他想法吗?谢谢!
      • 其实我发现了这个问题,我会在我的回答中提供更新。但是,不需要添加 preserveOriginal。
      猜你喜欢
      • 2012-08-29
      • 2011-03-14
      • 1970-01-01
      • 1970-01-01
      • 2010-09-05
      • 1970-01-01
      • 1970-01-01
      • 2014-02-14
      相关资源
      最近更新 更多