【问题标题】:Index life cycle policy索引生命周期策略
【发布时间】:2020-12-30 15:04:40
【问题描述】:

我想创建一个热温策略,当索引为 20Gb 大小或 max_age 等于 30days BUT 时,索引应该翻转,如果大小条件发生在年龄条件之前,索引应该翻转但数据必须留在热节点中,直到出现 max_age 条件。然后数据要在温数据中保存5个月,然后删除。

示例:如果 15 天后索引为 20gb,则索引翻转但不离开热数据节点,直到它的年龄为 30 天,所以在进入热数据之前应该在热数据中保留其他 15 天(希望我解释清楚:sweat_smile:)

所以我创建了这个政策

PUT _ilm/policy/hot-warm-cold-delete-6months-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size":"20gb",
            "max_age":"30d"
          },
          "set_priority": {
            "priority": 50
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "forcemerge": {
            "max_num_segments": 1
          },
          "shrink": {
            "number_of_shards": 1
          },
          "allocate": {
            "require": {
              "data": "warm"
            }
          },
          "set_priority": {
            "priority": 25
          }
        }
      },
      "delete": {
        "min_age": "150d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

但如果我理解得很好,这意味着索引将在翻转 30 天后发送到暖数据,而不是从创建日期开始,它并不能完全按照我想要的方式工作

您能否告诉我,如果 ILM 可以实现我想要做的事情?

感谢您的帮助

【问题讨论】:

    标签: elasticsearch elk ilm


    【解决方案1】:

    您可以使用index.lifecycle.origination_date 解决翻转日期:

    如果指定,这是用于计算其相变的索引年龄的时间戳。如果您创建包含旧数据的新索引并希望使用原始创建日期来计算索引年龄,请使用此设置。指定为 Unix 纪元值。

    您可以手动设置该值,也可以使用索引名称中的index.lifecycle.parse_origination_date

    设置为 true 以从索引名称解析起始日期。该起始日期用于计算其相变的指数年龄。索引名称必须与模式^.*-{date_format}-\\d+ 匹配,其中date_formatyyyy.MM.dd,尾随数字是可选的。翻转的索引通常会匹配完整格式,例如logs-2016.10.31-000002。如果索引名称与模式不匹配,则索引创建失败。

    因此,使用正确的索引名称,这应该是可行的(尽管它更像是 IMO 的一种解决方法而不是一项功能)。

    【讨论】:

    • 感谢您的回答@xeraa。你有一个如何设置的例子吗,因为我不知道我应该在哪里添加这个配置(策略或模板)!
    • 我也想知道它是否仅适用于我手动创建的策略或也可以使用集成策略,例如由 winlogbeat、packetbeat ...等创建的策略
    • 您应该在index template 中设置它,以便将其应用于您要使用该规则的每个索引。任何由 ILM 管理的具有该设置的索引都应该使用它。
    猜你喜欢
    • 2020-11-17
    • 1970-01-01
    • 2023-01-02
    • 2020-12-29
    • 2021-06-29
    • 2021-05-14
    • 2018-12-24
    • 2020-12-01
    • 1970-01-01
    相关资源
    最近更新 更多