Elasticsearch：为什么完全匹配的分数低于部分匹配

Question

我的问题

我搜索单词form，但精确匹配的单词form 不是结果中的第一个。有没有办法解决这个问题？

我的搜索查询

{
  "query": {
    "match": {
      "word": "form"
    }
  }
}

结果

word             score
--------------------------
formulation      10.864353
formaldehyde     10.864353
formless         10.864353
formal   10.84412
formerly         10.84412
forma    10.84412
formation        10.574185
formula          10.574185
formulate        10.574185
format   10.574185
formally         10.574185
form     10.254687
former   10.254687
formidable       10.254687
formality        10.254687
formative        10.254687
ill-formed       10.054999
in form          10.035862
pro forma        9.492243

POST my_index/_analyze

搜索中的单词form只有一个标记form。

在索引中，form 标记为 ["f", "fo", "for", "form"]; formulation 标记是 ["f", "fo", ..., "formulatio", "formulation"]。

我的配置

过滤器

        "edgengram_filter": {
          "type": "edge_ngram",
          "min_gram": 1,
          "max_gram": 20
        }

分析仪

      "analyzer": {
        "abc_vocab_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "keyword_repeat",
            "lowercase",
            "asciifolding",
            "edgengram_filter",
            "unique"
          ]
        },
        "abc_vocab_search_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "keyword_repeat",
            "lowercase",
            "asciifolding",
            "unique"
          ]
        }
      }

映射

        "word": {
          "type": "text",
          "analyzer": "abc_vocab_analyzer",
          "search_analyzer": "abc_vocab_search_analyzer"
        }

Answer 1

您以您看到的方式获得结果，因为您已经实现了edge-ngram 过滤器并且form 是与其相似的单词的子字符串。基本上在倒排索引中，它还会存储包含formulation、formal 等的文档ID。

因此，您的相关性也会以这种方式计算。您可以参考this 链接，我特别建议您浏览Default Similarity 和BM25 部分。尽管目前的默认相似度为BM25，但该链接将帮助您了解评分的工作原理。

您需要创建另一个可以在 should 子句中应用的同级字段。您可以继续使用Term Query 创建keyword 子字段，但您需要注意区分大小写。

相反，正如@Val 所述，您可以使用标准分析器创建text 字段的兄弟。

映射：

   {
    "word":{
      "type": "text",
      "analyzer": "abc_vocab_analyzer",
      "search_analyzer": "abc_vocab_search_analyzer"
      "fields":{
        "standard":{
          "type": "text"
        }
      }
    }
  }

查询：

POST <your_index_name>/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "word": "form"
          }
        }
      ],
      "should": [                          <---- Note this
        {
          "match": {
            "word.standard": "form"
          }
        }
      ]
    }
  }
}

如果这有帮助，请告诉我！

Answer 2

因为你这个字段的类型是文本，这意味着 ES 会在这个字段上做全文搜索分析。而ES搜索的过程就是寻找与你给出的词最相似的结果。
要准确搜索“form”这个词，请将你的搜索方式改为match_phrase
另外，你也可以阅读下面的文章来学习有关不同 ES 搜索方法的更多信息： https://www.cnblogs.com/yjf512/p/4897294.html https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-match-query-phrase.html

Answer 3

在您的自定义分析器中看起来有些问题，我创建了我的自定义 autocomplete 分析器，它使用 edge_ngram 和 lowercase 过滤器，它适用于您的查询，返回我完全匹配的顶部这就是 Elasticsearch 的工作原理，完全匹配总是有更高的分数。，因此无需显式创建另一个字段并提升它，因为 Elasticsearch 默认会提升令牌匹配的完全匹配。

索引定义

{
  "settings": {
    "analysis": {
      "filter": {
        "autocomplete_filter": {
          "type": "edge_ngram",
          "min_gram": 1,
          "max_gram": 10
        }
      },
      "analyzer": {
        "autocomplete": { 
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "autocomplete_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "autocomplete", 
        "search_analyzer": "standard" 
      }
    }
  }
}

索引几个文档

{
   "title" : "formless"
}

{
   "title" : "form"
}

{
   "title" : "formulation"
}

在问题中提供的title 字段上搜索查询

{
  "query": {
    "match": {
      "title": "form"
    }
  }
}

完全匹配的搜索结果得分最高

"hits": [
         {
            "_index": "so-60523240-score",
            "_type": "_doc",
            "_id": "1",
            "_score": 0.16410133,
            "_source": {
               "title": "form"
            }
         },
         {
            "_index": "so-60523240-score",
            "_type": "_doc",
            "_id": "2",
            "_score": 0.16410133,
            "_source": {
               "title": "formulation"
            }
         },
         {
            "_index": "so-60523240-score",
            "_type": "_doc",
            "_id": "3",
            "_score": 0.16410133,
            "_source": {
               "title": "formaldehyde"
            }
         },
         {
            "_index": "so-60523240-score",
            "_type": "_doc",
            "_id": "4",
            "_score": 0.16410133,
            "_source": {
               "title": "formless"
            }
         }
      ]