Solr 搜索在某些字符上失败

Question

我有一个 Solr 集合，它没有返回一些非 ASCII 字符的结果。我们使用的例子是字符串S11. • “≡ «Ñaïvétý» ‘¢¥£’ ¶!#%；即使我在索引字段中有一个对象，搜索整个字符串也不会返回任何结果。但是，搜索该字符串的子字符串会返回匹配项。导致 Solr 不返回匹配项的唯一字符是中间的三个字符：• “≡。该字段被索引为text_en，但我也尝试过edge_ngram（希望有一点Cargo Cult 魔法来解决这个问题）。这三个字符有什么特别之处吗？还是我需要调整 Solr 索引字段的方式？

我们正在通过 django-haystack 进行搜索，但问题也出现在 Solr 管理员中。

以下是两个字段类型定义：

<fieldType name="edge_ngram" class="solr.TextField" positionIncrementGap="1">
    <analyzer type="index">
        <tokenizer class="solr.WhitespaceTokenizerFactory" />
        <filter class="solr.LowerCaseFilterFactory" />
        <filter class="solr.WordDelimiterFilterFactory"        
            generateWordParts="1" generateNumberParts="1" catenateWords="0" 
            catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
        <filter class="solr.EdgeNGramFilterFactory" 
            minGramSize="2" maxGramSize="50" side="front" />
    </analyzer>
    <analyzer type="query">
        <tokenizer class="solr.WhitespaceTokenizerFactory" />
        <filter class="solr.LowerCaseFilterFactory" />
        <filter class="solr.WordDelimiterFilterFactory" 
            generateWordParts="1" generateNumberParts="1" catenateWords="0" 
            catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
    </analyzer>
</fieldType>

<fieldType name="text_en" class="solr.TextField" positionIncrementGap="100">
    <analyzer type="index">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory"
                ignoreCase="true"
                words="lang/stopwords_en.txt"
                enablePositionIncrements="true"
                />
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.EnglishPossessiveFilterFactory"/>
        <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
        <filter class="solr.PorterStemFilterFactory"/>
    </analyzer>
    <analyzer type="query">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" 
            ignoreCase="true" expand="true"/>
        <filter class="solr.StopFilterFactory"
                ignoreCase="true"
                words="lang/stopwords_en.txt"
                enablePositionIncrements="true"
                />
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.EnglishPossessiveFilterFactory"/>
        <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
        <filter class="solr.PorterStemFilterFactory"/>
    </analyzer>
</fieldType>

Answer 1

您是否尝试过使用ASCIIFoldingFilterFactory

转换字母、数字和符号 Unicode 字符 不在前 127 个 ASCII 字符中（“基本拉丁语”Unicode 块）转换成它们的 ASCII 等价物，如果存在的话。

<filter class="solr.ASCIIFoldingFilterFactory" preserveOriginal="false"/>

Answer 2

你能试试这个吗...

<fieldType name="text_reference" class="solr.TextField" sortMissingLast="true" omitNorms="true" positionIncrementGap="100">
       <analyzer type="index">
         <tokenizer class="solr.KeywordTokenizerFactory"/>
            <filter class="solr.LowerCaseFilterFactory"/>
            <filter class="solr.EdgeNGramFilterFactory" minGramSize="2" maxGramSize="50" side="front"/>
            <filter class="solr.EdgeNGramFilterFactory" minGramSize="2" maxGramSize="50" side="back"/>
       </analyzer>
       <analyzer type="query">
          <tokenizer class="solr.KeywordTokenizerFactory"/>
            <filter class="solr.LowerCaseFilterFactory"/>
       </analyzer>
    </fieldType>

Answer 3

我已经尝试了您发布的两种字段类型，并在 Solr 管理页面附带的分析页面上检查了它们。两者似乎都很好 - 看看下面。浅灰色表示已生成匹配项。

这让我有点困惑。没有获得成功的原因有几个：

• 您更改了 schema.xml 没有重建索引，这将运行，但不会生成命中
• 您正在使用 dismax/edismax 查询处理程序，其中 MM 参数定义为不利值。
  • 您可以在 solrconfig.xml 中查找此内容
  • 但这只是默认值，在从您的代码发送请求时，可能会更改该参数。
• 您在索引期间涉及的三个文件中有有趣的值，即
  • lang/stopwords_en.txt
  • protwords.txt
  • 同义词.txt

text_en的结果

edge_ngram 的结果