如何找到时间序列数据的最新项目？

Question

例如，有诸如根分区利用率之类的时间序列数据。数据结构如下：

name: root_disk_utilizatoin
ip: 1.1.1.1
timestamp: 1234567890
value: 0.5

我们有数百万台服务器每隔几分钟就会报告这些数据。 我的期望是找到每台服务器的最新数据。

第一个想法是将这些时间序列数据存储在一些存储中，例如 elasticsearc 或 tsdb(influxdb/opentsdb)。然后查询存储以获取结果。但我担心性能。无论我选择什么存储，他们都必须执行以下两个步骤来归档结果。

1. 按 ip 分组数据
2. 按时间戳对数据进行排序并返回最新的数据

我想这将是一个非常昂贵的过程（花费很多时间）。

所以我想这可能不是一个好主意。

• 您是否有类似的需求以及如何解决？
• 对于像 influxdb 这样的 timeseries db 会不会有问题？

Answer 1

您可以将terms aggregation 与max aggregation 结合使用

添加一个包含索引数据、搜索查询和搜索结果的工作示例

索引数据：

{
  "name": "root_disk_utilizatoin",
  "ip": "1.1.1.2",
  "timestamp": 1234567891,
  "value": 0.5
}
{
  "name": "root_disk_utilizatoin",
  "ip": "1.1.1.1",
  "timestamp": 1234567890,
  "value": 0.5
}

搜索查询：

    {
  "size":0,
  "aggs": {
    "unique_id": {
      "terms": {
        "field": "ip.keyword",
        "order": {
          "latestOrder": "desc"
        },
        "size":1
      },
      "aggs": {
        "latestOrder": {
          "max": {
            "field": "timestamp"
          }
        }
      }
    }
  }
}

搜索结果：

"aggregations": {
    "unique_id": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 1,
      "buckets": [
        {
          "key": "1.1.1.2",
          "doc_count": 1,
          "latestOrder": {
            "value": 1.234567891E9
          }
        }
      ]
    }