【问题标题】:Updated AWS Elasticsearch storage, but "Minimum free storage space" also increased更新了 AWS Elasticsearch 存储,但“最小可用存储空间”也增加了
【发布时间】:2021-04-21 18:20:30
【问题描述】:

我是 AWS 的新手,但我在使用 AWS Elasticsearch 时遇到了问题。

我们有一个包含数十万种产品的大型 Magento 2 目录(尽管我们只索引产品名称和 SKU 数据)。索引完成后 Elasticsearch 会不断重启并终止索引进程。

我们有:

实例类型:c5.large.elasticsearch

节点数:2

EBS 卷大小:25GB

据我了解,它达到了最小可用存储空间限制 (18GB),一旦达到每个节点 18GB,它就会重新启动实例。 p>

我们已将 EBS 卷大小增加到 30GB,但最小可用存储空间限制也增加到 22GB

如果 minimum 一起增加,增加 EBS 卷大小有什么意义?

我错过了什么吗?为什么上限上升了?

以下是一些带有故障点的图表:

更新:

这是我在索引完成和实例重置时遇到的错误:

MasterReachableFromNode-RED

Elasticsearch engine returned an error response. item id: 445689. Error type: "cluster_block_exception", reason "blocked by: [SERVICE_UNAVAILABLE/2/no master];".
item id: 445699. Error type: "cluster_block_exception", reason "blocked by: [SERVICE_UNAVAILABLE/2/no master];".
item id: 445709. Error type: "cluster_block_exception", reason "blocked by: [SERVICE_UNAVAILABLE/2/no master];".
item id: 445719. Error type: "cluster_block_exception", reason "blocked by: [SERVICE_UNAVAILABLE/2/no master];".
item id: 445727. Error type: "cluster_block_exception", reason "blocked by: [SERVICE_UNAVAILABLE/2/no master];".
item id: 445730. Error type: "cluster_block_exception", reason "blocked by: [SERVICE_UNAVAILABLE/2/no master];".
item id: 445732. Error type: "cluster_block_exception", reason "blocked by: [SERVICE_UNAVAILABLE/2/no master];".
item id: 445739. Error type: "cluster_block_exception", reason "blocked by: [SERVICE_UNAVAILABLE/2/no master];".

【问题讨论】:

  • 最小免费存储空间增加意味着您有更多可用存储空间。它是可用空间最少的节点上有多少可用存储空间。
  • 存储达到最小限制后怎么会重置实例?在增加之前,最小限制为 18。您可以在屏幕截图中看到这一点 - 一旦达到 18GB 并且它使实例变砖。所以我很困惑为什么在 EBS 增加之后限制增加 - 它是否会做同样的事情并在最小值达到 22GB 时将实例变砖?
  • 相关性!= 因果关系。该问题更有可能是由索引率的增加引起的(这会更快地减少可用空间)。对于弹性搜索集群而言,这些 EBS 卷非常小。使用 EBS gp2,您的磁盘吞吐量和访问率取决于磁盘大小,因此您连接的那些磁盘仅提供 90 次 IOP 的保证。我一般不建议在 EBS 上运行 elasticsearch。带有本地附加 nvme 的 i3 实例在 ES 工作负载中工作得更好。

标签: amazon-web-services elasticsearch magento2 amazon-elasticsearch


【解决方案1】:

您对指标的解释不正确。

FreeStorageSpace: 集群中数据节点的可用空间。 Sum 显示集群的总可用空间。 最小值和最大值分别显示具有最少和最多可用空间的节点。该指标也适用于单个节点。

因此,当您增加 EBS 大小时,存储更多数据 (FreeStorageSpace) 的能力也会增加。

您收到的“cluster_block_exception”错误是由于不同的原因 - “SERVICE_UNAVAILABLE” - 没有主服务器。建议有 3 个master 符合条件的节点以获得更好的集群可用性。

【讨论】:

  • 是的,你可能是对的。它有点混乱。我们增加了更多的 EBS 存储,今天早上日志从错误中清除。 Master instance 和 Kibana 也没有像以前每天早上那样崩溃。虽然索引仍然卡在某个地方,但我认为这是我们需要解决的 Magento 2 问题。
猜你喜欢
  • 2021-04-09
  • 1970-01-01
  • 2020-01-13
  • 1970-01-01
  • 1970-01-01
  • 2018-10-19
  • 2018-03-25
  • 2015-03-18
  • 2020-03-05
相关资源
最近更新 更多