【问题标题】:Elasticsearch running in docker on VM - Index Crashes every hours在 VM 上的 docker 中运行的 Elasticsearch - 索引每小时崩溃一次
【发布时间】:2017-09-01 13:23:38
【问题描述】:

我的设置:

elasticsearch logstash 和 metricbeat 在 docker-swarm 模式下作为容器运行。 Metricbeat 将其日志发送到 logstash 并写入 elasticsearch 数据库。

每个部分之一。

数据库保留在主机上

--挂载

参数。

一段时间后(大约 1 小时或更早)。来自 metricbeat 的索引变为红色。

我得到了 elasticsearch 的日志:

elastic-logstash-1.1.y03yuuhpi2fp@ucore01.solutions.test | [2017-09-01T08:26:08,287][信息][logstash.outputs.elasticsearch] 使用响应代码重试失败的操作:503 ({"type"=>"unavailable_shards_exception", "reason"=>"[metricbeat-2017.09.01][0] 主分片未激活 超时:[1m],请求:[BulkShardRequest [[metricbeat-2017.09.01][0]] 包含 [125] 个请求]"})

elastic-logstash-1.1.y03yuuhpi2fp@ucore01.solutions.test | [2017-09-01T08:26:08,287][信息][logstash.outputs.elasticsearch] 重试失败或被拒绝的单个批量操作 以前的批量请求。 {:count=>125}

我用模板调整了应该只有一个分片没有副本,但这没有帮助。

我尝试了具有三个不同节点的配置,但仍然相同。我什至尝试了不同的分片/副本数组合,但没有效果。

_cat/shards 显示:

metricbeat-2017.09.01 0 p 开始 2998 1.6mb 10.143.14.2 tPPhaKt

【问题讨论】:

  • 你确定你的 ES 还活着并且没有因为你的 Docker 容器缺少内存资源而死掉吗?
  • 是的。我还有其他一些索引正在运行,它们仍然是更新的而不是红色的。
  • 你能用你从curl -XGET localhost:9200/_cat/shards?v得到的结果更新你的问题
  • @Val 我重新启动了设置。我使用的存储是超过三个虚拟机的 glusterfs。也许真正糟糕的 I/O 就是问题所在。这可能吗?
  • 是的,很可能是这样。仍然有兴趣看到我要求的结果。

标签: elasticsearch


【解决方案1】:

我尝试不向主机公开数据目录,它工作正常。我认为这是存储背后的一些 I/O 问题。

【讨论】:

    猜你喜欢
    • 2023-03-28
    • 2020-07-01
    • 1970-01-01
    • 2013-04-13
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多