logstash 2.3.3 多行过滤器不适用于多个工作人员

Question

我已经开始使用多个 16 岁以上的工人进行 logstash。

我有诸如 java 异常/java 跟踪之类的多行消息，并希望将它们合并到一个事件中。早些时候，它按预期工作，但在升级我的 ELK 堆栈后它就坏了:-(

我的logstash过滤器：

filter {
  multiline {

    pattern => "(^[a-zA-Z.]+(?:Error|Exception): .+)|(^\s+at .+)|(^\s+... \d+ more)|(^\s*Caused by:.+)"
    what => "previous"
  }
}

logstash 日志：

:message=>"Warning: Manual override - there are filters that might not work with multiple worker threads", :worker_threads=>16, :filters=>["multiline"], :level=>:warn}
Exception in pipelineworker, the pipeline stopped processing new events, please check your filter configuration and restart Logstash.

Answer 1

如果您已从 Logstash 版本 1.5 升级，这是正常的。
在 2.0 版本中引入了工作线程，但由于多行过滤器不是线程安全的，它会阻止使用多个工作线程。

所以你必须要么：

• 使用multiline codec。
  比如加入java异常stacktrace：

  input {
    stdin {
      codec => multiline {
        pattern => "(^.+Exception: .+)|(^\s+at .+)|(^\s+... \d+ more)|(^\s*Caused by:.+)"
        what => "previous"
      }
    }
  }
  

• 在您的托运人上执行多行操作（beaver 和 filebeat 都可以进行配置）

• 仅使用一个工作线程（在这种情况下，您可以使用多个 Logstash 实例来使用所有 CPU 内核，但请记住，多行过滤器最终将被移除）。