Elasticsearch 段建立，堆增加直到崩溃答案

【问题标题】：Elasticsearch segments builds up, heap increase until crashElasticsearch 段建立，堆增加直到崩溃
【发布时间】：2018-06-06 06:30:55
【问题描述】：

我需要一些 ElasticSearch 帮助来解决困扰我几个月的问题，无论我做什么都没有任何真正的改善。

我运行一个 6 节点集群，由 6 个数据节点 r4.xlarge (30.5GB) 组成，其中 3 个也是合格的主节点。每个节点分配有 14GB 的 HEAP 内存。

问题如下：堆锯齿图案是可见的，但随着时间的推移，它会变得越来越小，直至节点崩溃。参见示例：

堆与段一起建立，您可以看到每晚创建新的每日索引时段计数的峰值。

我们的设置由 2 个主要索引和 2 个小索引组成，全部映射。 2个主索引有4个shard 1个replica，小的有1个shard 1个replica。

主要指数的每日指数大小不同：

索引率不是很高：对于如此强大的集群，我什至会说它相当低。

显然存在一些配置问题，导致段无休止地建立起来并对堆内存使用造成压力。

我已经尝试过使用shards count、number of replicas、refresh_interval 和更多...不行。集群的这种设置甚至从 m4.xlarge 机器升级到了新的 r4.xlarge 机器——这也几乎没有任何效果！！

值得一提的是，我们每小时运行具有多个聚合级别的真正繁重的查询，最多可处理 7 天的数据（7 个索引），但有了如此多的 RAM 和正确的索引，这应该不是问题。

ElasticSearch 版本为 2.4.1，每个 r4.xlarge 节点由 30.5GB RAM 和 1200GB SSD 组成。当然，所有这些都托管在 AWS 上。

【问题讨论】：

在段数激增期间，您是否在日志中看到任何“正在限制索引”消息？
如果你还没有看一下这个：elastic.co/guide/en/elasticsearch/guide/current/…
@ArchitSaxena 我在每个节点上都尝试了以下操作：grep -E 'throttle|throttling|indexing' /var/log/elasticsearch/*.log - 没有任何结果。
我已将 indices.store.throttle.max_bytes_per_sec 增加到 150mb。看最后一小时似乎没有任何区别..
因此，它似乎与繁重的索引无关（您已经报告了大声笑）。但是你必须有很多索引，因为你每天都在创建新的索引。你对旧的怎么办？也许尝试在它们上运行一个明确的optimize，看看它如何影响段数？

【解决方案1】：

你是否在你的节点上设置了这个？

indices.fielddata.cache.size: 20%

根据设计，字段数据会在需要时加载到内存中，并且不会被驱逐。它们将填充堆，直到 OutOfMemory 异常。这不是错误，而是一项功能。

配置缓存限制以停止该“功能”至关重要。

我在 ElasticSearch 2.x 上有集群，但它们都遇到了这个问题。我不确定它是否在以后的版本中被调整为默认不系统地耗尽内存。

【讨论】：