将时间戳转换为日期时间以用于 Elasticsearch 聚合

Question

我有一个 SendGrid 事件数据的索引：

"_source": {
    "externalId": "9283cc1d-b003-xxxx-a5af-84fcf31c4181",
    "email": "test@test.com",
    "timestamp": 1616515214,
    "event": "processed",
    "uid": null,
    "id": null,
    "sendgridEventId": null,
    "smtpId": null,
    "sgMessageId": null,
    "sgEventId": null,
    "sendgridEvent": null,
    "type": null,
    "category": [],
    "reason": null,
    "status": null,
    "url": null,
    "useragent": null,
    "ip": null,
    "response": null,
    "tls": null,
    "attempt": null,
    "sendAt": null,
    "asmGroupId": null
}

现在，我喜欢使用 timestamp 属性汇总给定日期的所有这些事件。

GET /sendgridevententity/_search
{
  "query":
   {
    "match_all": {}
   },
   "aggs": {
     "amount_per_day": {
       "date_histogram": {
         "field": "timestamp",
         "calendar_interval": "1d"
       }
     }
   }
}  

不幸的是，这只会产生所有单个事件，因为它们都有不同的时间戳，并且聚合不会按天对它们进行分组。

如何将时间戳转换为date，然后运行聚合？

Answer 1

您可以利用multi field mapping。以下是它的工作原理。

1. 使用新的日期“子字段”更新现有映射。我假设timestamp 最初被映射为long。我还假设时间戳以纪元秒为单位，因此明确设置了format：

POST sendgridevententity/_mapping
{
  "properties": {
    "timestamp": {
      "type": "long",
      "fields": {
        "as_date": {
          "type": "date",
          "format": "epoch_second"
        }
      }
    }
  }
}

1. 现在需要提取此新属性，并且您的数据需要重新编制索引。您可以通过cool little trick 触发重新索引调用——发送一个空的_update_by_query 请求：

POST sendgridevententity/_update_by_query

1. 重新索引操作完成后，您可以通过点表示法定位新的日期字段：

GET /sendgridevententity/_search
{
  "size": 0, 
  "query": {
    "match_all": {}
  },
  "aggs": {
    "amount_per_day": {
      "date_histogram": {
        "field": "timestamp.as_date",
        "format": "yyyy-MM-dd", 
        "calendar_interval": "1d"
      }
    }
  }
}

⚠️ 根据您的索引大小和许多其他因素，_update_by_query 请求可能会出现超时。可以设置wait_for_completion=false 来触发异步后台任务。

? 请注意，我在最终请求中使用了size: 0。这是返回only the aggregation results的便捷工具。