Logstash Grok 过滤键/值对答案

【问题标题】：Logstash Grok Filter key/value pairsLogstash Grok 过滤键/值对
【发布时间】：2016-07-19 15:23:18
【问题描述】：

致力于将我们的 ESET 日志文件（json 格式）导入 elasticsearch。我将日志发送到我们的 syslog 服务器 (syslog-ng)，然后发送到 logstash 和 elasticsearch。一切都按应有的方式进行。我的问题是在尝试处理 logstash 中的日志...我似乎无法将键/值对分成单独的字段。

这是一个示例日志条目：

Jul  8 11:54:29 192.168.1.144 1 2016-07-08T15:55:09.629Z era.somecompany.local ERAServer 1755 Syslog {"event_type":"Threat_Event","ipv4":"192.168.1.118","source_uuid":"7ecab29a-7db3-4c79-96f5-3946de54cbbf","occured":"08-Jul-2016 15:54:54","severity":"Warning","threat_type":"trojan","threat_name":"HTML/Agent.V","scanner_id":"HTTP filter","scan_id":"virlog.dat","engine_version":"13773 (20160708)","object_type":"file","object_uri":"http://malware.wicar.org/data/java_jre17_exec.html","action_taken":"connection terminated","threat_handled":true,"need_restart":false,"username":"BATHSAVER\\sickes","processname":"C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe"}

这是我的logstash conf：

input {
  udp {
    type => "esetlog"
    port => 5515
  }
  tcp {
    type => "esetlog"
    port => 5515
  }

filter {
  if [type] == "esetlog" {
    grok {
      match => { "message" => "%{DATA:timestamp}\ %{IPV4:clientip}\ <%{POSINT:num1}>%{POSINT:num2}\ %{DATA:syslogtimestamp}\ %{HOSTNAME}\ %{IPORHOST}\ %{POSINT:syslog_pid\ %{DATA:type}\ %{GREEDYDATA:msg}" }
      }
    kv {
      source => "msg"
      value_split => ":"
      target => "kv"
    }
  }
}

output {
  elasticsearch {
    hosts => ['192.168.1.116:9200']
    index => "eset-%{+YYY.MM.dd}"
  }
}

当数据在 kibana 中显示时，除了数据和时间之外，所有内容都集中在“消息”字段中，没有单独的键/值对。

我已经阅读和搜索了一个星期了。我对其他日志文件做了类似的事情，完全没有问题，所以不确定我错过了什么。非常感谢任何帮助/建议。

【问题讨论】：

标签： logstash-grok logstash-configuration

【解决方案1】：

你能试试下面的logstash配置吗

       grok {
                   match => {
                    "message" =>["%{CISCOTIMESTAMP:timestamp} %{IPV4:clientip} %{POSINT:num1} %{TIMESTAMP_ISO8601:syslogtimestamp} %{USERNAME:hostname} %{USERNAME:iporhost} %{NUMBER:syslog_pid} Syslog %{GREEDYDATA:msg}"]
                            }

            }
            json {
                    source => "msg"
            }

它在 http://grokconstructor.appspot.com/do/match#result 中工作和测试

问候。

【讨论】：