【发布时间】:2020-03-02 17:34:36
【问题描述】:
我在 3 台主机中总共有大约 250 GB 的索引,即 ELK 集群中的 750 GB 数据。
那么我如何轮换 ELK 日志以在我的 ELK 集群中保留三个月的数据,并且应该将较旧的日志推送到其他地方。
【问题讨论】:
标签: elasticsearch elastic-stack elk
我在 3 台主机中总共有大约 250 GB 的索引,即 ELK 集群中的 750 GB 数据。
那么我如何轮换 ELK 日志以在我的 ELK 集群中保留三个月的数据,并且应该将较旧的日志推送到其他地方。
【问题讨论】:
标签: elasticsearch elastic-stack elk
您可以使用“indexname-%{+YYYY.MM}”命名格式创建索引。这将每月创建一个不同的索引。
然后,您可以使用 curator 之类的插件根据时间戳过滤此索引。 策展人可以帮助您设置 CRON 作业以清除那些旧索引或将它们备份到某个 s3 存储库中。
参考 - Backup or Restore using curator
此外,您甚至可以在需要时直接从 s3 存储库恢复这些备份索引以进行历史分析。
【讨论】:
dexter_ 的答案是正确的,但由于答案是旧的,更好的答案是:
7.x 版本的 elastic stack 提供了索引生命周期管理策略,可以通过 kibana GUI 轻松管理,并且是 elk stack 原生的。 PS,您仍然必须按照建议的 dexter_
管理诸如“indexname-%{+YYYY.MM}”之类的索引elastic.co/guide/en/elasticsearch/reference/current/index-lifecycle-management.html
【讨论】: