Elasticsearch 内联字符串替换似乎什么都不做

Question

我们在弹性搜索索引中有一些遗留字段，这给我们带来了一些麻烦，我们想对整个索引执行字符串替换。

例如，一些旧时间戳以2000-01-01T00:00:00.000+0100 的格式存储，但应存储为2000-01-01T00:00:00.000+01:00。

我尝试运行以下查询：

POST /my_index/_update_by_query
{
    "script":
    {
        "lang": "painless",
        "inline": "ctx._source.timestamp = ctx._source.timestamp.replace('+0100', '+01:00')"
    }
}

我在 Kibana 中运行查询，但我总是遇到查询超时 - 我想这不一定是坏事，因为数据库很大，但是我从来没有看到更新的字段。

有没有办法查看此类查询的状态？

我也尝试为更新创建搜索查询，但没有成功：

GET /my_index/_search
{
  "query": {
    "query_string": {
      "query": "*0100",
      "allow_leading_wildcard": true,
      "analyze_wildcard": true,
      "fields": ["timestamp"]
    }
  }
}

不幸的是，它总是返回空集 - 不确定可能出了什么问题。

实现此类更新的正确方法是什么？

Answer 1

我会使用 ingest pipeline 来解决这个问题，您将使用它来更新整个索引。

首先，创建如下所示的摄取管道。它的作用是检测具有以+0100 结尾的timestamp 字段的文档，然后更新时间戳以使用正确格式的时区。

PUT _ingest/pipeline/fix-tz
{
  "processors": [
    {
      "dissect": {
        "if": "ctx.timestamp.endsWith('+0100')",
        "field": "timestamp",
        "pattern": "%{timestamp}+%{tz}"
      }
    },
    {
      "set": {
        "if": "ctx.tz != null",
        "field": "timestamp",
        "value": "{{timestamp}}+01:00"
      }
    },
    {
      "remove": {
        "if": "ctx.tz!= null",
        "field": "tz"
      }
    }
  ]
}

然后，当管道被创建时，你只需要用它来更新你的索引，就像这样：

POST my_index/_update_by_query?pipeline=fix-tz&wait_for_completion=false

一旦完全运行，您的索引应该会正确更新。