Logstash 用 syslog 日期替换 @timestamp

Question

我有点困惑。我正在尝试拔出syslog date (backfilling the logstash) 并用它替换@timestamp。我几乎尝试了所有方法。

这是我的过滤器

filter {
   if [type] == "syslog" {
   grok {
     match => {
"message" => ["%{SYSLOGTIMESTAMP:DATETIME} %{WORD:SERVER} (?<BINARY>(.*?)(php\-cgi|php))\: %{DATA:PHP_ERROR_TYPE}\:\s\s(?<PHP_ERROR_DESC>(.*?)(e\s\d))""]
  }
}

date {
  match => { "DATETIME" => [ "MMM  d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601" ] }
  target => "@timestamp"
  add_tag => [ "tmatch" ]
}

if !("_grokparsefailure" in [tags]) {
  mutate {
    replace => [ "@source_host", "%{SERVER}" ]
  }
}
mutate {
  remove_field => [ "SERVER" ]
}
}
}

样本输出：

{
    "message" => "Sep 10 00:00:00 xxxxxxx",
    "@timestamp" => "2013-12-05T13:29:35.169Z",
      "@version" => "1",
          "type" => "xxxx",
          "host" => "127.0.0.1:xxx",
      "DATETIME" => "Sep 10 00:00:00",
        "BINARY" => "xxxx",
"PHP_ERROR_TYPE" => "xxxx",
"PHP_ERROR_DESC" => "xxxxx",
          "tags" => [
    [0] "tmatch"
],
  "@source_host" => "xxx"
}

tmatch 在标签中，所以我假设日期过滤器有效，但为什么我仍然有：

@timestamp => "2013-12-05T13:29:35.169Z"

?

感谢您的帮助（我的 logstash 是 logstash-1.2.2-flatjar.jar）

Answer 1

如果您希望时间戳显示为您的时区格式，而不是 UTC 时间， 你可以这样做

ruby {
    code => "event['@timestamp'] = event['@timestamp'].local('-08:00')"
}

之前：@timestamp => "2013-12-05T13:29:35.169Z"

之后：@timestamp => "2013-12-05T05:29:35.169-08:00"

更新： 本地方法在 1.4.2 版本中无法使用。 所以，换一个 API

ruby {
    code => "event['@timestamp'] = event['@timestamp'].getlocal"
}

Answer 2

让我们看看你的日期过滤器：

date {
  match => { "DATETIME" => [ "MMM  d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601" ] }
  target => "@timestamp"
  add_tag => [ "tmatch" ]
}

特别是match 参数：

match => { "DATETIME" => [ "MMM  d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601" ] }

Match 需要一个数组。我不确定你到底传递了什么，但它绝对不是一个数组。我尝试使用-v 运行它，我很惊讶它没有抱怨。

你的意思可能更接近这个：

match => ["DATETIME", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601"]

注意数组的第一个元素是目标字段；其他元素是要匹配的模式。

除此之外，您实际上只需要传递您期望的一种格式，但它看起来包含在您发送的三种格式中。