用于 ping 的 Logstash Grok 模式答案

【问题标题】：Logstash Grok Pattern for ping用于 ping 的 Logstash Grok 模式
【发布时间】：2023-03-13 06:09:01
【问题描述】：

我有这个来自日志的样本：

Tue Mar 27 06:51:48 2018 PING www.google.com (172.217.169.100) 56(84) bytes of data.
64 bytes from sof02s31-in-f4.1e100.net (172.217.169.100): icmp_seq=1 ttl=128 time=17.4 ms

--- www.google.com ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 17.482/17.482/17.482/0.000 ms

我想为 logstash 制作一个 grok 模式，并从最后两行中提取 TIMESTAMP,IPV4,TTL 以及 RTT 值 min/avg/max 之类的内容。

此日志大约每秒从一个 ping 脚本发送到同一个 IP。我想我需要一个多行模式来一次获取这 6 行中的每一行的值？

任何帮助都会很棒！！！

谢谢

【问题讨论】：

您可以使用 (?<newline>(.|\r|\n)*) 之类的自定义模式转义两行之间的空格，请阅读我的答案。谢谢

标签： logstash logstash-grok logstash-configuration

【解决方案1】：

如果您使用Oniguruma syntax 转义newline 即\n，则不需要多行。

例如，(?<newline>(.|\r|\n)*) 可以匹配日志中两个段落之间的所有不必要数据，即，

" time=17.4 ms\n\n--- www.google.com ping 统计信息 ---\n1 个数据包已发送，1 接收，0% 丢包，时间 0ms\n"

你最终的 grok 模式将如下所示，

%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{YEAR} %{WORD:PING} %{HOSTNAME:host} \(%{IP:ip_address}\) %{DATA} ttl=%{INT:TTL}(?<newline>(.|\r|\n)*)rtt min/avg/max/mdev = %{NUMBER:min}/%{NUMBER:avg}/%{NUMBER:max}/%{NUMBER:mdev} ms

它会产生以下输出，

{
  "DAY": [
    [
      "Tue"
    ]
  ],
  "MONTH": [
    [
      "Mar"
    ]
  ],
  "MONTHDAY": [
    [
      "27"
    ]
  ],
  "TIME": [
    [
      "06:51:48"
    ]
  ],
  "HOUR": [
    [
      "06"
    ]
  ],
  "MINUTE": [
    [
      "51"
    ]
  ],
  "SECOND": [
    [
      "48"
    ]
  ],
  "YEAR": [
    [
      "2018"
    ]
  ],
  "PING": [
    [
      "PING"
    ]
  ],
  "host": [
    [
      "www.google.com"
    ]
  ],
  "ip_address": [
    [
      "172.217.169.100"
    ]
  ],
  "IPV6": [
    [
      null
    ]
  ],
  "IPV4": [
    [
      "172.217.169.100"
    ]
  ],
  "DATA": [
    [
      "56(84) bytes of data. 64 bytes from sof02s31-in-f4.1e100.net (172.217.169.100): icmp_seq=1"
    ]
  ],
  "TTL": [
    [
      "128"
    ]
  ],
  "newline": [
    [
      " time=17.4 ms\n\n--- www.google.com ping statistics ---\n1 packets transmitted, 1 received, 0% packet loss, time 0ms\n"
    ]
  ],
  "min": [
    [
      "17.482"
    ]
  ],
  "BASE10NUM": [
    [
      "17.482",
      "17.482",
      "17.482",
      "0.000"
    ]
  ],
  "avg": [
    [
      "17.482"
    ]
  ],
  "max": [
    [
      "17.482"
    ]
  ],
  "mdev": [
    [
      "0.000"
    ]
  ]
}

【讨论】：