具有两个输出令牌的 Elasticsearch 自定义分析器

Question

要求是创建一个自定义分析器，它可以生成两个令牌，如下所示。

例如

Input -> B.tech in
Output Tokens ->
- btechin
- b.tech in

我可以删除非字母数字字符，但如何在输出标记列表中保留原始字符。下面是我创建的自定义分析器。

       "alphanumericStringAnalyzer": {
            "filter": [
                "lowercase",
                "minLength_filter"],
            "char_filter": [
                "specialCharactersFilter"
            ],
            "type": "custom",
            "tokenizer": "keyword"
        }

      "char_filter": {
        "specialCharactersFilter": {
            "pattern": "[^A-Za-z0-9]",
            "type": "pattern_replace",
            "replacement": ""
        }
      },

此分析器正在为输入“B.tech in”生成单个标记“btechin”，但我也希望在标记列表“B.tech in”中也有原始标记

谢谢！

Answer 1

您可以使用 documentation 中描述的单词标记分隔符

这里是单词分隔符配置的示例：

POST _analyze
{
  "text": "B.tech in",
  "tokenizer": "keyword",
  "filter": [
    "lowercase",
    {
      "type": "word_delimiter",
      "catenate_all": true,
      "preserve_original": true,
      "generate_word_parts": false
    }
  ]
}

结果：

{
  "tokens": [
    {
      "token": "b.tech in",
      "start_offset": 0,
      "end_offset": 9,
      "type": "word",
      "position": 0
    },
    {
      "token": "btechin",
      "start_offset": 0,
      "end_offset": 9,
      "type": "word",
      "position": 0
    }
  ]
}

我希望它能满足您的要求！