Amazon elasticsearch 对 FreeStorageSpace 指标的解读答案

【问题标题】：Amazon elasticsearch interpretation of FreeStorageSpace metricsAmazon elasticsearch 对 FreeStorageSpace 指标的解读
【发布时间】：2016-11-17 21:36:51
【问题描述】：

我有 6 个 m3.large.elasticsearch 类型的实例和存储类型的实例。

我真的不明白这里的平均值、最小值、最大值是什么意思？

我现在没有将任何日志记录到我的集群中，尽管它在此处将 FreeStorageSpace 显示为 14.95GB：

但我的 FreeStorageSpace 图表“最小值”已达到零！

这里发生了什么？

【问题讨论】：

您可以发布一些弹性搜索日志或您遇到的任何错误吗？您使用什么类型的设置将数据发送到 elasticsearch？您使用的是 Kibana 上的哪个索引模式，以及它对应于 Elasticsearch 中的哪个索引。请发布更多详细信息。

标签： amazon-web-services elasticsearch logstash elastic-stack amazon-elasticsearch

【解决方案1】：

我们也遇到了同样的困惑。 Avg, Min, Max 将计算分布在所有节点上，Sum 结合了整个集群的 Free/Used 空间。

我们假设Average FreeStorageSpace 表示整个集群的平均可用存储空间，并设置了一个警报，记住以下计算：

每天索引 = 1 TB
保留索引的最大天数 = 10

因此，我们在任何时间点的平均利用率为 10 TB。假设，根据https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/sizing-domains.html#aes-bp-storage，我们将达到 2 倍 - 即 20 TB 我们的实际存储需求是复制因子为 2 的情况是：

(20 * 2 * 1.1 / 0.95 / 0.8) = 57.89 =~ 60 TB

所以我们配置了 18 X 3.8 TB 实例 =~ 68 TB 以适应 2x = 60 TB

所以我们设置了一个警报，如果我们低于 8 TB 的可用存储空间 - 这意味着我们已经达到了 2 倍的限制，应该扩大规模。因此我们设置了闹钟

FreeStorageSpace

FreeStorageSpace 以 MB 为单位，因此 - 8 TB = 8388608 MB。

但我们立即收到警报，因为我们每个节点的平均利用率低于 8 TB。

在意识到要获得准确的存储空间后，您需要对 FreeStorageSpace 求和 1 分钟 - 我们将警报设置为

FreeStorageSpace

上述计算已验证，我们能够设置正确的警报。

这同样适用于 ClusterUsedSpace 计算。

您还应该使用 Cloudwatch Math 跟踪实际可用空间百分比：

【讨论】：

【解决方案2】：

我也对此感到困惑。最小意味着单个数据节点上的大小 - 一个具有最少可用空间的节点。 Sum 表示整个集群的大小（所有数据节点上可用空间的总和）。从以下链接获取此信息

http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-managedomains.html

【讨论】：