使用 Filebeat（或替代方法？）将 docker GELF 日志转发到 Logstash答案

【问题标题】：Forwarding docker GELF logs to Logstash with Filebeat (or alternative?)使用 Filebeat（或替代方法？）将 docker GELF 日志转发到 Logstash
【发布时间】：2017-09-18 10:00:22
【问题描述】：

Gelf 消息是所有 Json 字符串的子集。如何使用 filebeat（或替代方案）作为轻量级解决方案，将 docker gelf 日志可靠地转发到 logstash？

更多信息：

我在同一网络中有一个运行 docker 容器的机器集群（现在是 docker swarm）。我想使用 --log-driver=gelf 因为我喜欢 gelf 格式并且想要 docker 添加到每个 GELF 日志条目的字段。

不幸的是，docker 使用 UDP 发送 GELF 日志，我担心丢失日志条目。要么是因为包丢失，logstash 已关闭，要么是因为 logstash 负载过多。我不想在每个主机上运行 logstash，因为它是重量级的。

【问题讨论】：

标签： logging docker microservices elastic-stack filebeat

【解决方案1】：

尝试将 Rabbitmq 或 Redis 放在 GELF 前面。

您需要以集中方式将过滤与摄取分离，添加多个 Logstash 托运人，或者只是想办法缓冲来自任何类型较慢解析的新日志。您可以将原始 log.conf 拆分为两个文件，具体取决于它们是读入 Redis 还是从队列中抓取、解析并发送到 ES。

【讨论】：