在 not_analyzed 字段上进行 Elasticsearch 通配符搜索答案

【问题标题】：Elasticsearch wildcard search on not_analyzed field在 not_analyzed 字段上进行 Elasticsearch 通配符搜索
【发布时间】：2014-02-05 07:37:04
【问题描述】：

我有一个类似以下设置和映射的索引；

{
  "settings":{
     "index":{
        "analysis":{
           "analyzer":{
              "analyzer_keyword":{
                 "tokenizer":"keyword",
                 "filter":"lowercase"
              }
           }
        }
     }
  },
  "mappings":{
     "product":{
        "properties":{
           "name":{
              "analyzer":"analyzer_keyword",
              "type":"string",
              "index": "not_analyzed"
           }
        }
     }
  }
}

我正在努力在name 字段上实现通配符搜索。我的示例数据是这样的；

[
{"name": "SVF-123"},
{"name": "SVF-234"}
]

当我执行以下查询时；

http://localhost:9200/my_index/product/_search -d '
{
    "query": {
        "filtered" : {
            "query" : {
                "query_string" : {
                    "query": "*SVF-1*"
                }
            }
        }

    }
}'

它返回SVF-123,SVF-234。我认为，它仍然标记数据。它必须只返回SVF-123。

你能帮忙吗？

提前致谢

【问题讨论】：

仅供参考，你真的不想要一个前导通配符，我认为如果你这样做，它会查看每个文档。
我知道性能上的缺陷，但我需要执行通配符搜索，即使是 SVF-*
我认为尾随通配符很好，你只是不想要前导通配符..
当用户 VF 时，IT 应该返回 SVF-... 这就是我使用前导通配符的原因
我认为最好的做法是使用reverse token，这样前导通配符就可以变成尾随通配符。

标签： search lucene elasticsearch tokenize

【解决方案1】：

这里有一些问题。

首先，您是说您不希望术语分析索引时间。然后，配置了一个分析器（即使用的搜索时间），它会生成不兼容的术语。（它们是小写的）

默认情况下，所有术语都以标准分析器的_all-字段结尾。那就是你最终搜索的地方。由于它在“-”上进行标记，因此您最终会得到“*SVF”和“1*”的 OR。

尝试在 _all 和 name 上做一个术语方面，看看发生了什么。

这是一个可运行的游戏和要点：https://www.found.no/play/gist/3e5fcb1b4c41cfc20226 (https://gist.github.com/alexbrasetvik/3e5fcb1b4c41cfc20226)

您需要确保您索引的术语与您搜索的内容兼容。您可能想要禁用 _all，因为它会混淆正在发生的事情。

#!/bin/bash

export ELASTICSEARCH_ENDPOINT="http://localhost:9200"

# Create indexes

curl -XPUT "$ELASTICSEARCH_ENDPOINT/play" -d '{
    "settings": {
        "analysis": {
            "text": [
                "SVF-123",
                "SVF-234"
            ],
            "analyzer": {
                "analyzer_keyword": {
                    "type": "custom",
                    "tokenizer": "keyword",
                    "filter": [
                        "lowercase"
                    ]
                }
            }
        }
    },
    "mappings": {
        "type": {
            "properties": {
                "name": {
                    "type": "string",
                    "index": "not_analyzed",
                    "analyzer": "analyzer_keyword"
                }
            }
        }
    }
}'


# Index documents
curl -XPOST "$ELASTICSEARCH_ENDPOINT/_bulk?refresh=true" -d '
{"index":{"_index":"play","_type":"type"}}
{"name":"SVF-123"}
{"index":{"_index":"play","_type":"type"}}
{"name":"SVF-234"}
'

# Do searches

# See all the generated terms.
curl -XPOST "$ELASTICSEARCH_ENDPOINT/_search?pretty" -d '
{
    "facets": {
        "name": {
            "terms": {
                "field": "name"
            }
        },
        "_all": {
            "terms": {
                "field": "_all"
            }
        }
    }
}
'

# Analyzed, so no match
curl -XPOST "$ELASTICSEARCH_ENDPOINT/_search?pretty" -d '
{
    "query": {
        "match": {
            "name": {
                "query": "SVF-123"
            }
        }
    }
}
'

# Not analyzed according to `analyzer_keyword`, so matches. (Note: term, not match)
curl -XPOST "$ELASTICSEARCH_ENDPOINT/_search?pretty" -d '
{
    "query": {
        "term": {
            "name": {
                "value": "SVF-123"
            }
        }
    }
}
'


curl -XPOST "$ELASTICSEARCH_ENDPOINT/_search?pretty" -d '
{
    "query": {
        "term": {
            "_all": {
                "value": "svf"
            }
        }
    }
}
'

【讨论】：

首先，感谢您的回答。我已经使用了您的示例，但不适用于我的情况。我的情况有点复杂。最后，我找到了解决方案，我将在我的回答中说明整个案例。

【解决方案2】：

我的解决方案冒险

正如您在我的问题中看到的那样，我已经开始了我的案件。每当我更改了一部分设置时，一部分开始工作，但另一部分停止工作。让我给出我的解决方案历史：

1.) 我已默认为我的数据编制索引。这意味着，我的数据默认为analyzed。这会在我这边造成问题。例如；

当用户开始搜索 SVF-1 等关键字时，系统会运行以下查询：

{
    "query": {
        "filtered" : {
            "query" : {
                "query_string" : {
                    "analyze_wildcard": true,
                    "query": "*SVF-1*"
                }
            }
        }

    }
}

和结果；

SVF-123
SVF-234

这是正常的，因为我的文档的name字段是analyzed。这会将查询拆分为标记SVF 和1，并且SVF 匹配我的文档，尽管1 不匹配。我已经跳过了这条路。我已经为我的字段创建了一个映射，使它们成为not_analyzed

{
  "mappings":{
     "product":{
        "properties":{
           "name":{
              "type":"string",
              "index": "not_analyzed"
           },
           "site":{
              "type":"string",
              "index": "not_analyzed"
           } 
        }
     }
  }
}

但我的问题仍然存在。

2.) 经过大量研究后，我想尝试另一种方式。决定使用wildcard query。我的查询是；

{
    "query": {
        "wildcard" : {
            "name" : {
                "value" : *SVF-1*"
             }
          }
      },
            "filter":{
                    "term": {"site":"pro_en_GB"}
            }
    }
}

这个查询有效，但这里有一个问题。我的字段不再被分析，我正在进行通配符查询。区分大小写是这里的问题。如果我像 svf-1 一样搜索，它不会返回任何内容。因为，用户可以输入小写版本的查询。

3.) 我已将文档结构更改为；

{
  "mappings":{
     "product":{
        "properties":{
           "name":{
              "type":"string",
              "index": "not_analyzed"
           },
           "nameLowerCase":{
              "type":"string",
              "index": "not_analyzed"
           }
           "site":{
              "type":"string",
              "index": "not_analyzed"
           } 
        }
     }
  }
}

我为name 添加了一个名为nameLowerCase 的字段。当我为我的文档编制索引时，我将我的文档设置为：

{
    name: "SVF-123",
    nameLowerCase: "svf-123",
    site: "pro_en_GB"
}

在这里，我将查询关键字转换为小写，并对新的nameLowerCase 索引进行搜索操作。并显示name 字段。

我的查询的最终版本是；

{
    "query": {
        "wildcard" : {
            "nameLowerCase" : {
                "value" : "*svf-1*"
             }
          }
      },
            "filter":{
                    "term": {"site":"pro_en_GB"}
            }
    }
}

现在可以了。还有一种方法可以使用multi_field 来解决这个问题。我的查询包含破折号（-），并且遇到了一些问题。

非常感谢@Alex Brasetvik 的详细解释和努力

【讨论】：

【解决方案3】：

添加到 Hüseyin 答案，我们可以使用 AND 作为默认运算符。所以 SVF 和 1* 将使用 AND 运算符连接，从而给我们正确的结果。

"query": {
    "filtered" : {
        "query" : {
            "query_string" : {
                "default_operator": "AND",
                "analyze_wildcard": true,
                "query": "*SVF-1*"
            }
        }
    }
}

【讨论】：

【解决方案4】：

@Viduranga Wijesooriya 正如你所说的，"default_operator" : "AND" 将检查 SVF 和 1 是否存在，但仅完全匹配仍然是不可能的，但是，这将以更合适的方式过滤结果，留下 SVF 和 1 的所有组合，并按相关性对结果进行排序，这将提升 SVF-1 的顺序

为了得到准确的结果

"settings": {
        "analysis": {
            "analyzer": {
                "analyzer_keyword": {
                    "type": "custom",
                    "tokenizer": "keyword",
                    "filter": [
                        "lowercase"
                    ]
                }
            }
        }
    },
    "mappings": {
        "type": {
            "properties": {
                "name": {
                    "type": "string",
                    "analyzer": "analyzer_keyword"
                }
            }
        }
    }

查询是

{
    "query": {
        "bool": {
            "must": [
               {
                    "query_string" : {
                        "fields": ["name"],
                        "query" : "*svf-1*",
                        "analyze_wildcard": true
                    }
               }
            ]
        }
    }
}

结果

{
   "took": 4,
   "timed_out": false,
   "_shards": {
      "total": 5,
      "successful": 5,
      "failed": 0
   },
   "hits": {
      "total": 1,
      "max_score": 1,
      "hits": [
         {
            "_index": "play",
            "_type": "type",
            "_id": "AVfXzn3oIKphDu1OoMtF",
            "_score": 1,
            "_source": {
               "name": "SVF-123"
            }
         }
      ]
   }
}

【讨论】：