Elasticsearch 英语词干无法正常工作答案

【问题标题】：Elasticsearch English stemming not working correctlyElasticsearch 英语词干无法正常工作
【发布时间】：2020-12-08 15:45:46
【问题描述】：

我已在查询中添加了英语词干分析器和过滤器，但它似乎无法正确处理源自 'y' => 'ies' 的复数。例如，当我搜索“覆盆子”时，结果从不包含“覆盆子”等。我已经尝试了英语和最小英语，但我仍然得到相同的结果。

这是分析器和设置：

   analysis: {
     analyzer: {
       custom_analyzer: {
         type: "custom",
         tokenizer: "standard",
         filter: ["lowercase", "english_stemmer"],
       },
     },
     filter: {
       english_stemmer: {
         type: "stemmer",
         language: "english",
       },
     },
   },
 }

我做错了什么？

【问题讨论】：

我希望您在索引时间和搜索时间都使用相同的分析器。
@Opster ES Ninja Nishan 我认为默认情况下会这样做？如何检查？

标签： elasticsearch

【解决方案1】：

虽然english 应该适用于例如你提到过，你甚至可以改用porter_stem。这相当于用英语进行词干分析。

porter_stem 在行动：

POST /_analyze
{
  "tokenizer": "standard",
  "filter": ["porter_stem"],
  "text": ["raspberry", "raspberries"]
}

上述请求的响应：

{
  "tokens" : [
    {
      "token" : "raspberri",
      "start_offset" : 0,
      "end_offset" : 9,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "raspberri",
      "start_offset" : 10,
      "end_offset" : 21,
      "type" : "<ALPHANUM>",
      "position" : 101
    }
  ]
}

您可以看到raspberry 和raspberries 都被标记为raspberri。因此搜索raspberry 也将匹配raspberries，反之亦然。

确保您正在索引和搜索的字段已将分析器定义为custom_analyzer（根据您在问题中所述的设置）。

工作例如

映射：

PUT test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "custom_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "english_stemmer"
          ]
        }
      },
      "filter": {
        "english_stemmer": {
          "type": "stemmer",
          "language": "english"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "field1": {
        "type": "text",
        "analyzer": "custom_analyzer"
      }
    }
  }
}

索引：

PUT test/_doc/1
{
  "field1": "raspberries"
}

PUT test/_doc/2
{
  "field1": "raspberry"
}

搜索：

GET test/_search
{
  "query": {
    "match": {
      "field1": {
        "query": "raspberry"
      }
    }
  }
}

回应：

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.18232156,
    "hits" : [
      {
        "_index" : "test",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.18232156,
        "_source" : {
          "field1" : "raspberries"
        }
      },
      {
        "_index" : "test",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.18232156,
        "_source" : {
          "field1" : "raspberry"
        }
      }
    ]
  }
}

你也可以看看其他词干分析器kstem。

【讨论】：

【解决方案2】：

不幸的是，porter_stem 并不总是有效，例如病毒和病毒。有人建议滚雪球——但我还没试过……

【讨论】：