Logstash“日期”过滤器不会取代@timestamp

Question

由于某种原因，当我尝试替换我的 apache 访问日志事件中的 @timestamp 字段时，它不起作用。对于 Nginx，它确实可以使用相同的日期格式。

这是我的日志日期格式：[10/Dec/2014:13:01:06 -0500]

这是我的 logstash.conf -

if [type] == "apache" {
   grok {
        match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:time}\] \"(?:%{WORD:method} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-)" }
        add_tag => [ "apache", "grokked" ]
        }
   date {
        match => [ "[time]" , "dd/MMM/YYYY:HH:mm:ss Z" ]
        locale => "en"
        add_tag => ["date_filtered"]
        }
     }

@timestamp 字段保持这种格式 - 2014-12-10T18:01:06.000Z

更新： 这是完整的配置 -

日志中没有错误，只有logstash启动日志行。

我的logstash配置文件如下：

input {
redis {
        host => "<redis_server>"
        port => "<redis_port>"
        data_type => 'list'
        key => 'logstash'
        type => 'redis'
        threads => 300
 }

filter {


multiline {
        pattern => "(^\s)|(^INFO.+)|(^SEVERE.+)"
        what => "previous"
        add_tag => ["multiline"]
        stream_identity => '%{host}.%{file}.%{type}'

   }

if [type] == "apache" {
   grok {
        match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:time}\] \"(?:%{WORD:method} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-)" }
        add_tag => [ "apache", "grokked" ]
        }
   date {
        match => [ "[time]" , "dd/MMM/YYYY:HH:mm:ss Z" ]
        locale => "en"
        add_tag => ["date_filtered"]
        }
     }
}

output {

  elasticsearch {
    host => "<ES_server>"
    port => "9300"
    cluster => "elasticsearch"
    embedded => false
    node_name => "logstash"
   }
}

结果是：

什么时候应该是：

谢谢。

Answer 1

平均而言，只有 1/1000 条日志在毫秒 = 000 时被处理，如您的 @timestamp 所示。

您能猜出将 HH:mm:ss 传递给 date{} 时会发生什么吗？没错 - 输入中没有提供毫秒信息，它被设置为 000。

所以，我认为您的 date{} 节运行良好。

您可以通过在输出中查找标签“date_filtered”来确认这一点；仅当日期成功时才会添加标签。