【问题标题】:What factors to consider for planning capacity for ELK?为 ELK 规划容量需要考虑哪些因素?
【发布时间】:2018-10-22 04:28:12
【问题描述】:
我对 ELK 堆栈非常陌生,并试图了解它。
我想了解如何规划 100GB/天数据保存 30 天的容量,如何规划。
数据主要是访问日志、应用日志、事件。
我将需要运行几个正则表达式来填充数据字段(除非有任何默认分隔符支持)。
我打算保留 3 个副本。
如果这需要多少台服务器和什么类型的配置,请有人指导我吗?
非常感谢。
【问题讨论】:
标签:
elasticsearch
logstash
kibana
elastic-stack
capacity-planning
【解决方案1】:
我们使用集群弹性搜索实例的“热温架构”(docs)(您可以在一台服务器上运行多个!)。每个都有 31g 内存。
我们的“热”实例配置了 3 天的保留时间和 ssd RAID。在这三天之后,数据被移动到保留时间为(30 - 90 天)的“温暖”HD Raid。这很好,因为 ssds 可以快速处理在 kibana 中搜索的最新数据。
有时我们在单个服务器上启动 1 个 Elastic Master(4g 内存)和 2 个 Elastic Clients(31g 内存)。
我认为这样的机器至少应该有128g左右的内存,1tb ssd容量,4-6tb hd容量。