Elasticsearch 汇总作业可以像 Logstash 那样动态创建索引吗？答案

【问题标题】：Can an Elasticsearch rollup job dynamically create indexes like Logstash does?Elasticsearch 汇总作业可以像 Logstash 那样动态创建索引吗？
【发布时间】：2018-08-21 01:59:46
【问题描述】：

我目前正在测试 Elasticsearch 6.3 中的新汇总 API，我想知道是否有任何方法可以配置汇总作业，以便像 Logstash 在摄取数据时那样根据时间戳动态创建索引？用例是尝试汇总大量时间序列网络性能报告数据，我担心即使是每小时汇总也会创建一个巨大的索引来管理，所以我希望将其拆分为每天的每小时汇总一个索引.

当前汇总作业配置：

{
    "index_pattern": "dxs-raw-*",
    "rollup_index": "dxs-hourly-%{+YYYY.MM.dd}",
    "cron": "* */15 * * * ?",
    "page_size": 1000,
    "groups": {
        "date_histogram": {
            "field": "@timestamp",
            "interval": "1h",
            "delay": "12h"
        },
        "terms": {
            "fields": ["ci_id.keyword", "client_id.keyword", "element_name.keyword", "measurement.keyword", "source_management_platform.keyword", "unit.keyword"]
        }
    },
    "metrics": [
        {
            "field": "value",
            "metrics": ["min", "max", "avg"]
        }
    ]
}

通过 Kibana DevTools 控制台 PUT 作业时出现错误：

    {
    "error": {
        "root_cause": [
        {
            "type": "invalid_index_name_exception",
            "reason": "Invalid index name [dxs-hourly-%{+YYYY.MM.dd}], must be lowercase",
            "index_uuid": "_na_",
            "index": "dxs-hourly-%{+YYYY.MM.dd}"
        }
        ],
        "type": "runtime_exception",
        "reason": "runtime_exception: Could not create index for rollup job [dxs-hourly]",
        "caused_by": {
        "type": "invalid_index_name_exception",
        "reason": "Invalid index name [dxs-hourly-%{+YYYY.MM.dd}], must be lowercase",
        "index_uuid": "_na_",
        "index": "dxs-hourly-%{+YYYY.MM.dd}"
        }
    },
    "status": 500
}

【问题讨论】：

为了提供更多背景信息，我们正在与 Elastic 团队在their forums 和GitHub issue 上进行持续讨论。

标签： elasticsearch rollup elasticsearch-x-pack

【解决方案1】：

从 6.4 版开始，这是不可能的，但已经提出了新的增强功能here 当最终解决方案发布时，我将使用我们的实现来更新这个答案。

【讨论】：

@IsharaMadhawa 下周我将赶上 Elastic 支持团队。会询问他们是否有或可以为我获得有关此问题的一些反馈。