从日志路径解析的字段未添加到 logstash答案

【问题标题】：Fields parsed from log path not added in logstash从日志路径解析的字段未添加到 logstash
【发布时间】：2020-01-08 11:29:15
【问题描述】：

我正在使用 logstash 解析多个日志文件 - 并希望根据文件路径将字段添加到我的输出中。以下是配置文件的相关部分：

input {
  file {
    path => "/mnt/logs/**/console-20200108*.log"
    type => "tomcat"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}

filter {
  if [type] == "tomcat" {
    grok {
      patterns_dir => "/usr/share/logstash/patterns"
      match => {
        "message" => [ "%{TOMCAT_LOG_1}", "%{TOMCAT_LOG_2}" ]
        "path" => "\/mnt\/logs\/%{DATA:site}\/%{DATA:version}\/node%{NUMBER:node}\/store\/tomcat\/%{DATA:file}\.log"
      }
    }
  }
}

这是一个示例输出：

{
         "level" => "INFO",
          "type" => "tomcat",
          "data" => "Finished indexer cronjob.\r",
     "timestamp" => "08-Jan-2020 11:00:05.860",
    "qualifier1" => "[update-backofficeIndex-CronJob::ServicelayerJob]",
    "@timestamp" => 2020-01-08T11:04:47.364Z,
          "path" => "/mnt/logs/protec/qa/node1/store/tomcat/console-20200108.log",
    "qualifier3" => "[SolrIndexerJob]",
          "host" => "elk",
      "@version" => "1",
       "message" => "INFO   | jvm 1    | srvmain | 08-Jan-2020 11:00:05.860 INFO  [update-backofficeIndex-CronJob::ServicelayerJob] (update-backofficeIndex-CronJob) [SolrIndexerJob] Finished indexer cronjob.\r",
    "qualifier2" => "(update-backofficeIndex-CronJob)"
}

基于此，我期望从解析消息中获取相关字段，并从解析路径中获取更多字段。然而，我没有添加任何来自“路径”解析的字段。

我错过了什么？如何添加site、version、node 和file 字段？

【问题讨论】：

我不明白为什么它不起作用，但是您可以将 grok 过滤器一分为二，一个用于消息，一个用于路径
显然它可能来自break_on_match 选项，默认为true。来自doc：The first successful match by grok will result in the filter being finished. 所以如果%{TOMCAT_LOG_1} 或%{TOMCAT_LOG_2} 匹配，就不会尝试匹配路径字段
@baudsp 啊！这就说得通了。当我将 grok 过滤器分成两个单独的过滤器时——一个用于消息，另一个用于路径——它确实按预期工作！
@baudsp 如果您将评论添加为答案，我会接受。

标签： logstash logstash-grok

【解决方案1】：

从解决问题的评论中创建答案（因此是社区 wiki）。

显然它可能来自break_on_match option，默认为true。来自文档：

grok 的第一次成功匹配将导致过滤器完成。所以如果%{TOMCAT_LOG_1}或%{TOMCAT_LOG_2}匹配，就不会尝试匹配路径字段

【讨论】：