Logstash - grok 使用消息以外的字段答案

【问题标题】：Logstash - grok use a field other than messageLogstash - grok 使用消息以外的字段
【发布时间】：2014-09-15 05:55:01
【问题描述】：

我正在使用 Logstash 转发器从远程服务器接收 Log4j 生成的日志文件。日志事件的字段包括一个名为“文件”的字段，格式为 /tomcat/logs/app.log、/tomcat/logs/app.log.1 等。当然文件路径 /tomcat/logs 在远程机器上我希望 Logstash 仅使用文件名而不使用远程文件路径在本地文件系统上创建文件。

在本地，我想根据文件名 app.log、app.log.1 等创建一个文件。如何才能做到这一点？

我无法使用 grok，因为它似乎只适用于“消息”字段而不适用于其他字段。

示例日志事件：

{"message":["11 Sep 2014 16:29:04,934 INFO LOG MESSAGE DETAILS HERE"],"@version":"1","@timestamp":"2014-09-15T05:44:43.472 Z","file":["/tomcat/logs/app.log.1"],"host":"aus-002157","offset":"3116","type":"app.log"}

Logstash 配置 - 我用什么来编写过滤器部分？

input {
    lumberjack {
      port => 48080
      ssl_certificate => "/tools/LogStash/logstash-1.4.2/ssl/logstash.crt"
      ssl_key => "/tools/LogStash/logstash-1.4.2/ssl/logstash.key"
    }
}

filter{

}

output {

    file{
        #message_format => "%{message}"
        flush_interval => 0
        path => "/tmp/%{host}.%{type}.%{filename}"
        max_size => "4M"
    }
}

【问题讨论】：

标签： log4j logstash

【解决方案1】：

计算出的模式如下：

grok{
    match => [ "file",  "^(/.*/)(?<filename>(.*))$" ]
}

感谢您的帮助！

【讨论】：

【解决方案2】：

Logstash Grok 可以解析日志事件中的所有字段，而不仅仅是message 字段。

例如，您要提取file 字段，你可以这样做

filter {
   grok {
       match => [ "file", "your pattern" ]
   }
}

【讨论】：

感谢您的回复。提取文件名 app.log.1 的模式是什么？
如何访问文件中的孩子？例如。 {"file": {"name": "foobar.log"}}