弹性搜索磁盘空间计算

Question

如何计算弹性搜索服务器磁盘空间，每天4TB日志需要多少节点。

• 在弹性搜索索引中存储需要多少磁盘空间？
• 如何计算节点数？
• 索引是否被压缩？
• 从 logstash 以行格式记录 10G 日志需要多少磁盘空间？
• 索引是否被压缩？

如果节点配置为使用 5 个分片，以下是真还是假，为什么

存储 10G 日志是否需要 50G 磁盘空间用于 5 个分片节点？

Answer 1

许多问题需要很长的答案。简而言之：

1. 空间：视情况而定。你有二进制数据吗？还是未压缩的文本？你想要多少个副本——也许是 0 个？如果原始文本和 0 副本：您需要的空间很可能
2. 也许一个节点足以满足您的方案。或者您有 1000 次点击/秒？然后你可能需要更多的节点。 （近乎线性可扩展 => 如果需要，可以添加节点）。
3. 是的，从 ES 版本 0.90 左右开始默认设置为压缩
4. 通常您还希望将数据存储到磁盘中，而不仅仅是在内存中 (although would be possible) => 参见 1。
5. 见 3。

这不是 space=nodes*rawData 。更像是space=compress(rawData)*replicas。

成功的关键是自己进行试验，找出适合您的需求（这些确实因场景而异）。

另请参阅这些答案以更好地理解：

Shards and replicas in Elasticsearch

ElasticSearch - Optimal number of Shards per node