【发布时间】:2020-01-07 20:17:06
【问题描述】:
我在 t2.small 节点和 10gb EBS 卷上使用 AWS Elasticsearch。我每 5 分钟索引大约 5000 个文档*。对于每个文档,我手动传递唯一 ID。由于大部分文档都会更新,因此几乎所有文档都可能有版本 2 或 3。
还值得一提的是,我每天都在运行delete_by_query 操作来删除超过一周的文档。
批量插入的延迟通常小于 1 秒。但是今天突然在短短几个小时内经过两周的测试后,延迟增加到 3 分钟以批量插入 5000 个文档。
我正在使用 elasticsearch-py 和 awsauth。
我检查了 AWS 集群运行状况统计信息。自从批量插入延迟问题说明以来,旧垃圾收集时间似乎急剧增加。看来这些之间可能存在相关性。
如何处理这个问题?这是因为维护了多个版本的文档还是使用了查询删除?
【问题讨论】:
标签: python amazon-web-services elasticsearch