Elasticsearch 索引不断丢失

Question

我在 AWS ec2 实例上有一个 Elasticsearch 集群。它是 t3.small 和 2 vcores and 2 GB ram。我已经安装了 Elasticsearch & kibana。对于扩展，我已经安装了 Heartbeat 和 Metricbeat。我正在使用的数据库是 mongo DB，我所有的数据都是非 SQL。我从本地机器中的 MongoDB 集群中使用脚本为引擎提供数据。我提供我的引擎并从我的应用程序和控制台运行查询。到目前为止，一切都很好。一切顺利。好吧，集群总是黄色而不是绿色。
在引擎上遇到多个请求后，问题就开始了。在 50 或 60 次搜索查询后，数据就会消失。那么不知何故，我的引擎正在强制转储我的索引并且它无法恢复这些数据（显然我没有快照也没有恢复点）并且我不断丢失这些数据。我不得不一次又一次地手动给引擎喂食。起初我有 1 GB 内存，所以我认为升级可以解决问题，但升级到 2 GB 内存后它并没有停止。好吧，现在数据在那里停留了一段时间。
所以这是我的数据库配置。

• 我有 70K + 没有 SQL 文档。
• 其中包含 text 和 geo_point 类型
• 我通过前端应用程序在引擎上发出发布请求。
• 我没有安装 logstash，但 metricbeat 没有显示任何错误日志。
• 我所有的弹性搜索引擎设置都是针对 Testing purposes 这是 not the production mode。
• 我们将在进入生产模式时进行升级。

所以我需要知道

• 这是什么原因和
• 如何防止这种巨大的数据丢失

所以请帮助我或只是建议如何解决这个巨大的问题。
谢谢

Answer 1

理想情况下，您应该做的第一件事就是让集群变成绿色。

要查看导致这种情况的确切 elasticsearch 错误，您应该查看 elasticsearch.log 文件。它将包含导致它的确切错误。

保证集群数据安全的一种方法是定期拍摄快照并在数据丢失的情况下进行恢复。快照过程的详细信息可以找到here。