在 logstash 和 elasticsearch 之间丢失消息

Question

在我们测试 ESK 堆栈并了解这一切的工作原理时，我的设置如下：

• 运行 filebeat 的客户端服务器 (CS) 将输出发送到在站点聚合器节点 (AN) 上运行的 logstash。

• AN 使用一些过滤器运行 logstash，然后转发到我们的 Elasticsearch/Kibana 节点 (ESK) 上的 rabbitmq。

• ESK 运行 rabbitmq，logstash 从 rabbitmq 中提取消息，然后将输出发送到 elasticsearch（不进行过滤）。 Kibana 是我们的可视化工具（显然），而且我们对 elasticsearch 还很陌生，所以我们没有直接用它做太多事情。

问题来了：

CS 生成一条消息。它肯定会被发送到 AN，logstash 将其过滤并转发（在将其回显到 logstash.stdout 之后）。 ESK 上的 logstash 实例也会看到它（并将其写入 logstash.stdout）。我可以在两个 logstash 实例中看到消息。它们匹配并被适当地标记。但它们在 Kibana 中不可见。

我们的配置和来自两个日志的示例消息都在此处的要点形式：https://gist.github.com/wortmanb/ebd37b8bea278d06ffa058c1513ef940

这些消息会去哪里？它们没有出现在 Kibana 中——如果我过滤带有标签的消息：“puppet”，在我知道这些消息正在流动的时间范围内，我基本上什么也得不到。

有什么调试建议吗？

Answer 1

问题是您正在使用日期过滤器解析日志的日期，默认情况下，替换用于根据日期进行过滤的@timestamp 字段。

当我知道这些消息正在流动时，我基本上什么也没得到。

因此，消息不在它们流动的时间范围内，而是在它们被写入的时间范围内。

您可以看到“_grokparsefailure”日志，因为它们的日期没有被解析，那么@timestamp是Logstash中的接收日期。

因此，您需要将时间范围更改为包括日志日期在内的时间范围。