Logstash 使用当前年份作为没有年份的时间戳，并显示具有未来日期的事件

Question

我有没有提到年份的日志，在解析时，logstash 添加当前年份并使事件出现在未来的日期。

我在论坛上查看过类似问题，但不幸的是，没有任何解决方案。根据讨论，日期过滤器应该自动放置正确的年份，但在我的情况下没有发生。下面是一个日志时间戳示例。

Tue Oct 20 11:04:30.996 data: zone1 data: zone2 这是 2020 年 10 月的日志日期。

我得到的输出是

          "new" => 2021-10-19T08:04:30.996Z,
      "logtime" => "Tue Oct 20 11:04:30.996",
         "path" => "/home/zone.log",
      "message" => "Tue Oct 20 11:04:30.996 data: zone1 data: zone2",

Grok/日期过滤器是：

grok
        {
        match => { "message" => "(?<logtime>%{DAY} %{MONTH} %{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND}) ........" }
        }

        date
        {
        match =>  [ "logtime", "EEE MMM dd HH:mm:ss.SSS"  ] 
        target => "new"
        }

没有 dateparsefailure 但时间戳进入未来。请就此提出建议。

Answer 1

日期过滤器不可能在所有情况下都知道正确的年份。一个issue 已经在 github 上开放了几年，那里有很多关于如何修复它的讨论。但是，我不希望它会得到解决。

parser 有一些启发式方法来猜测正确的年份：

• 如果时间戳从 12 月开始，而当前日期在 1 月，则假定它是从去年开始的。
• 如果时间戳是从 1 月开始，而当前日期是在 12 月，则假定它是从明年开始的。
• 否则使用当前年份。

如果该逻辑对您不起作用，那么您可能必须在 ruby​​ 过滤器中实现自己的逻辑，以决定在使用日期过滤器解析时间戳之前将哪一年添加到时间戳。

如果您以后只想删除事件，可以使用

ruby { code => 'if Time.now.to_f < event.get("@timestamp").to_f ; event.cancel ; end' }