为什么 AWS Elasticsearch 最小可用存储空间指标与 cat 分配 api 不同

Question

我在 AWS 中有一个 Elasticsearch 集群，并收到提醒，集群的最小存储空间约为 2gb。在升级每个节点上的存储之前，我决定深入挖掘一下。作为参考，集群有 8 个节点，每个节点上有 35GB 的存储空间。我很难理解为什么每个节点的 FreeStorageSpace 指标（以及集群的最小 FreeStorageSpace 指标）不一致。

在 ES 实例健康选项卡上查看每个节点的可用存储空间：

当我猫/分配时：

最终，我试图确定我的节点上报告剩余存储空间最少的可用存储空间是根据 Cloudwatch 指标为 2gb 还是根据 cat 分配 api 为 8.8gb - 这将帮助我决定如何扩展。我了解 Amazon ES 在每个实例上为内部操作保留一定百分比的存储空间，但假设这会减少上图中的disk.avail。任何关于为什么这些不排队的见解都会很棒。

Answer 1

这是因为 AWS Elasticsearch 作为托管服务，有其自身的存储开销。

来自 AWS Documentation：

操作系统预留空间：Linux默认预留5% root 用户的文件系统，用于关键进程、系统恢复、 并防止磁盘碎片问题。

Amazon ES 开销：Amazon ES 预留 20% 的存储空间 每个实例（最多 20 GiB）用于段合并、日志和其他 内部运作。

有两个指标可以查看您的免费存储空间：

FreeStorageSpace CW 指标 - 这将包含开销并显示最终用户可用的实际空间。

来自 AWS Documentation 的 FreeStorageSpace：

FreeStorageSpace 将始终低于 Elasticsearch _cluster/stats API 提供。 Amazon ES 保留一个 每个实例的内部存储空间百分比 操作。

Elasticsearch API - 由于这些是原生 Elasticsearch api，它们将显示可用的原始空间，这将高于实际空间。