带/不带连字符的 Solr 搜索答案

【问题标题】：Solr search with/without hyphen带/不带连字符的 Solr 搜索
【发布时间】：2016-03-25 19:16:10
【问题描述】：

我在尝试使用带和不带连字符的单词获取相关搜索结果时遇到问题。我创建了两个文档，一个带有“wifi”，另一个在“文本”字段中带有“wi-fi”。

搜索“wifi”时，两个文档都出现在搜索结果中，这很好。搜索“wi-fi”时，搜索结果中只出现带有“wi-fi”的文档。

这是我的配置：

<field name="text" type="text" indexed="true" stored="true" omitNorms="true" />

<fieldType name="text" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="true">
  <analyzer type="index">
      <tokenizer class="solr.WhitespaceTokenizerFactory"/>
      <charFilter class="solr.HTMLStripCharFilterFactory"/>
      <filter class="solr.ASCIIFoldingFilterFactory" />
      <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
      <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1" preserveOriginal="1" />
      <filter class="solr.LowerCaseFilterFactory"/>
      <filter class="solr.PorterStemFilterFactory"/>
      <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
  </analyzer>
  <analyzer type="query">
      <tokenizer class="solr.WhitespaceTokenizerFactory"/>
      <charFilter class="solr.HTMLStripCharFilterFactory"/>
      <filter class="solr.ASCIIFoldingFilterFactory" />
      <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
      <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1" preserveOriginal="1" />
      <filter class="solr.LowerCaseFilterFactory"/>
      <filter class="solr.PorterStemFilterFactory"/>
      <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
  </analyzer>
</fieldType>

这是分析的结果：https://www.evernote.com/shard/s7/sh/f1bab83a-7fd5-4bf3-9e67-239ea0c71441/98b1103577638734fb9335f755591b82/deep/0/Solr-Admin-(jeanfrancoiscote.egzakt.com).png

搜索“wi-fi”时查询的调试。我不知道为什么它找不到两个文件：

<?xml version="1.0" encoding="UTF-8"?>
<response>

<lst name="responseHeader">
  <int name="status">0</int>
  <int name="QTime">1</int>
  <lst name="params">
    <str name="debugQuery">true</str>
    <str name="indent">true</str>
    <str name="q">wi-fi</str>
    <str name="wt">xml</str>
  </lst>
</lst>
<result name="response" numFound="1" start="0">
  <doc>
    <int name="id">1869</int>
    <str name="route">@sujet_simple?sujet_id=1869&amp;slug=wi-fi</str>
    <str name="name">Wi-fi</str>
    <str name="text">&lt;p&gt;
    Wi-fi&lt;/p&gt;
</str>
    <long name="_version_">1493472450933948416</long></doc>
</result>
<lst name="debug">
  <str name="rawquerystring">wi-fi</str>
  <str name="querystring">wi-fi</str>
  <str name="parsedquery">MultiPhraseQuery(text:"(wi-fi wi) (fi wifi)")</str>
  <str name="parsedquery_toString">text:"(wi-fi wi) (fi wifi)"</str>
  <lst name="explain">
    <str name="1869">
30.33298 = (MATCH) weight(text:"(wi-fi wi) (fi wifi)" in 0) [DefaultSimilarity], result of:
  30.33298 = score(doc=0,freq=1.0 = phraseFreq=1.0
), product of:
    0.99999994 = queryWeight, product of:
      30.332981 = idf(), sum of:
        7.684612 = idf(docFreq=1, maxDocs=1600)
        7.684612 = idf(docFreq=1, maxDocs=1600)
        7.684612 = idf(docFreq=1, maxDocs=1600)
        7.2791467 = idf(docFreq=2, maxDocs=1600)
      0.032967415 = queryNorm
    30.332981 = fieldWeight in 0, product of:
      1.0 = tf(freq=1.0), with freq of:
        1.0 = phraseFreq=1.0
      30.332981 = idf(), sum of:
        7.684612 = idf(docFreq=1, maxDocs=1600)
        7.684612 = idf(docFreq=1, maxDocs=1600)
        7.684612 = idf(docFreq=1, maxDocs=1600)
        7.2791467 = idf(docFreq=2, maxDocs=1600)
      1.0 = fieldNorm(doc=0)
</str>
  </lst>
  <str name="QParser">LuceneQParser</str>
  <lst name="timing">
    <double name="time">1.0</double>
    <lst name="prepare">
      <double name="time">0.0</double>
      <lst name="query">
        <double name="time">0.0</double>
      </lst>
      <lst name="facet">
        <double name="time">0.0</double>
      </lst>
      <lst name="mlt">
        <double name="time">0.0</double>
      </lst>
      <lst name="highlight">
        <double name="time">0.0</double>
      </lst>
      <lst name="stats">
        <double name="time">0.0</double>
      </lst>
      <lst name="debug">
        <double name="time">0.0</double>
      </lst>
    </lst>
    <lst name="process">
      <double name="time">1.0</double>
      <lst name="query">
        <double name="time">0.0</double>
      </lst>
      <lst name="facet">
        <double name="time">0.0</double>
      </lst>
      <lst name="mlt">
        <double name="time">0.0</double>
      </lst>
      <lst name="highlight">
        <double name="time">0.0</double>
      </lst>
      <lst name="stats">
        <double name="time">0.0</double>
      </lst>
      <lst name="debug">
        <double name="time">1.0</double>
      </lst>
    </lst>
  </lst>
</lst>
</response>

感谢您的帮助。

【问题讨论】：

不，还没有找到解决办法。
您可能对我最近发布的一个类似问题感兴趣：stackoverflow.com/questions/29783237/…

标签： solr

【解决方案1】：

您需要调整架构的分析方面。 debugQuery=true 和 Solr 分析工具是您发现此类错误的好帮手。

根据您的配置搜索 wifi 会产生以下查询：

wifi
"parsedquery_toString": "text:wifi",

对于无线网络

wi-fi
"parsedquery_toString": "text:\"(wi-fi wi) (fi wifi)\"",

我们配置的分析端没有为 wi-fi 生成匹配项。

如果我们改变分析端的过滤器不产生单词部分：

  <filter class="solr.WordDelimiterFilterFactory" generateWordParts="0" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1" preserveOriginal="1" />

我们得到以下为 wifi 生成的搜索词组

parsedquery_toString": "text:wifi",

对于无线网络：

"parsedquery_toString": "text:wi-fi text:wifi"

哪些匹配来自分析工具的 wi-fi 和 wifi 的索引词

wi-fi, wi, fi, wifi
wifi

注意：在本例中，文本是我们的默认字段

【讨论】：