Elasticsearch 集群故障后 Filebeat 无法发送日志答案

【问题标题】：Filebeat can't send logs after Elasticsearch cluster failureElasticsearch 集群故障后 Filebeat 无法发送日志
【发布时间】：2020-12-28 15:06:56
【问题描述】：

我们最近遇到了一个 ES 集群失败的问题。问题解决了，但是filebeat失败后发送新数据失败。
这是日志的一部分 - 它似乎永远重试但无法发送数据：

2019-04-08T11:52:04.182+0300    INFO    elasticsearch/client.go:690    Connected to Elasticsearch version 6.4.0
2019-04-08T11:52:04.185+0300    INFO    template/load.go:73    Template already exists and will not be overwritten.
2019-04-08T11:52:04.185+0300    INFO    [publish]    pipeline/retry.go:172    retryer: send unwait-signal to consumer
2019-04-08T11:52:04.185+0300    INFO    [publish]    pipeline/retry.go:174      done
2019-04-08T11:52:59.058+0300    INFO    [publish]    pipeline/retry.go:149    retryer: send wait signal to consumer
2019-04-08T11:52:59.058+0300    INFO    [publish]    pipeline/retry.go:151      done
2019-04-08T11:53:00.065+0300    ERROR    pipeline/output.go:92    Failed to publish events: temporary bulk send failure
2019-04-08T11:53:00.065+0300    INFO    [publish]    pipeline/retry.go:172    retryer: send unwait-signal to consumer
2019-04-08T11:53:00.065+0300    INFO    [publish]    pipeline/retry.go:174      done
2019-04-08T11:53:00.065+0300    INFO    [publish]    pipeline/retry.go:149    retryer: send wait signal to consumer
2019-04-08T11:53:00.065+0300    INFO    [publish]    pipeline/retry.go:151      done

我重新启动了 Filebeat 服务，所有数据都发送到 ES 没有任何问题。
这是一个已知的问题？ Filebeat 版本太旧了，要不要更新？
我在 Windows 上将 Filebeat 6.3.0 作为服务运行。 Elasticsearch 版本是 6.4.0。

【问题讨论】：

Elasticsearch 似乎无法处理负载。你在 ES 的日志中看到了什么？拥有相同版本的 ELKB 堆栈始终是一个不错的选择。
@DebashishSen 不幸的是，我无权访问 ES 日志。现在我调整了 Filebeat 以增加批量大小并创建具有更大 refresh_interval 的索引，我们将看看它是如何进行的

标签： elasticsearch filebeat

【解决方案1】：

请出示您的个人资料
我之前也遇到过这个错误，因为我没有写procotol
下面是正确的配置文件

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /var/log/dmesg
  - /var/log/syslog

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["http://192.168.13.173:30014"]

描述：https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html

【讨论】：