【问题标题】:How to rotate ELK logs?如何旋转 ELK 日志?
【发布时间】:2020-03-02 17:34:36
【问题描述】:

我在 3 台主机中总共有大约 250 GB 的索引,即 ELK 集群中的 750 GB 数据。

那么我如何轮换 ELK 日志以在我的 ELK 集群中保留三个月的数据,并且应该将较旧的日志推送到其他地方。

【问题讨论】:

    标签: elasticsearch elastic-stack elk


    【解决方案1】:

    您可以使用“indexname-%{+YYYY.MM}”命名格式创建索引。这将每月创建一个不同的索引。

    然后,您可以使用 curator 之类的插件根据时间戳过滤此索引。 策展人可以帮助您设置 CRON 作业以清除那些旧索引或将它们备份到某个 s3 存储库中。

    参考 - Backup or Restore using curator

    此外,您甚至可以在需要时直接从 s3 存储库恢复这些备份索引以进行历史分析。

    【讨论】:

      【解决方案2】:

      dexter_ 的答案是正确的,但由于答案是旧的,更好的答案是:

      7.x 版本的 elastic stack 提供了索引生命周期管理策略,可以通过 kibana GUI 轻松管理,并且是 elk stack 原生的。 PS,您仍然必须按照建议的 dexter_

      管理诸如“indexname-%{+YYYY.MM}”之类的索引

      elastic.co/guide/en/elasticsearch/reference/current/index-lifecycle-management.html

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2011-09-10
        • 2018-07-02
        • 1970-01-01
        • 1970-01-01
        • 2020-03-19
        • 1970-01-01
        • 2019-02-20
        • 1970-01-01
        相关资源
        最近更新 更多