Elasticsearch 中的请求时间和搜索延迟持续飙升

Question

我们注意到 Elastic Search 的 RequestTime 和 SearchLatency 图中以 1 分钟的间隔连续出现峰值。

在所有 ES 数据节点中也观察到 延迟 的相关峰值。 我们正在使用 ElasticSearch v5.6.3 和 Kibana v6.1.3。

以下是从 kibana 捕获的图表：

• 索引请求时间：
• 索引的搜索延迟：
• ES 节点上的延迟： 我们正在研究 ES 执行的内部操作，例如段合并等，从 2-3 天。此外，最近没有推出任何会影响 ES 的更改。

这些峰值正在影响我们应用程序的搜索响应时间。

欢迎提出任何想法/建议？

Answer 1

经过不断的调查，我找到了造成这种峰值的可能原因。 这些峰值与弹性搜索为其内部索引管理执行的后台任务有关。

我们的团队最近在文档中添加了一个nested field，并将“include_in_parent”属性设置为true。此属性有助于将内部/嵌套对象索引为嵌套字段和展平字段。

在测试可能的修复时，删除嵌套字段后，我们没有注意到尖峰。后来，我们添加了与“flattened”字段相同的字段，效果很好。

注意：我们本可以早点解决这个问题。但是，在添加嵌套字段之前，我们不确定这些尖峰是否存在。这是因为，

Kibana 只保留最近 1 周的监控信息

，仅此而已。