Logstash 解析的日志事件在 Loggly 中结束了四次答案

【问题标题】：Log events parsed by Logstash end up in Loggly four timesLogstash 解析的日志事件在 Loggly 中结束了四次
【发布时间】：2014-11-05 22:55:03
【问题描述】：

Logstash 解析的我的日志事件在 Loggly 中结束了四次。这可能是什么原因造成的？

一个例子是，行：

2014-11-05 01:52:55,485 PM PST [localhost-startStop-1] INFO  o.s.web.context.ContextLoader - Root WebApplicationContext: initialization started

在 Loggly 中看起来像这样：

我的 Logstash 配置文件如下所示：

input {
  file {
    type => "advcore-error"
    path => [ "/var/company/tomcat/logs/error/advcore-error.log"]
    sincedb_path => "$HOME/.sincedb"
  }
}

filter {
  if [type] == "advcore-error" {
    grok {
      pattern => "%{DATE_US} %{TIME},%{DATA:offset} %{DATA:meridian} %{DATA:timezone} \[%{DATA:thread}\] %{LOGLEVEL:loglevel} %{GREEDYDATA:message}"
      add_tag => "advcore-error"
    }
  }
}

output {
  loggly {
    codec => "plain"
    host => "logs-01.loggly.com"
    key => "<my-secret-key>"
    proto => "http"
    workers => 1
  }
}

【问题讨论】：

与您的问题无关，但请确保您使用date 过滤器正确解析@timestamp 字段中的事件时间戳。

标签： logstash loggly

【解决方案1】：

我发现了这个问题。

我有另外三个 Logstash 配置文件（总共四个），每个都具有相同的 Loggly output 块。

我不明白不同配置文件中的 output 块仍会管道来自所有配置文件的数据。

似乎给定 Logstash templates 目录（可能还有其他地方？）中的配置文件有效地充当了一个大文件。

【讨论】：

确实如此。 Logstash 有一个日志管道。将配置拆分为多个文件不会改变这一点。