当 URL 包含无效字符时，有什么方法可以解析 URIPATHPARAM

Question

快速背景：使用来自 HAProxy 的访问日志并使用 grok 解析它。 HAProxy 的 %{+Q}r 日志变量打印 "<http verb> <uri> <HTTP version>" 我们正在使用

进行解析

"%{WORD:method} %{URIPATHPARAM:url} HTTP/%{NUMBER:httpversion}"

这对大多数请求都很好，但是当我们遇到各种扫描器试图通过在 URL 中发送垃圾来进行注入攻击等时，grok 无法解析 uri。以下是一些导致此 grok 过滤器崩溃的示例：

"GET /index.html?14068'#22><bla> HTTP/1.1"
"GET /index.html?fName=\Windows\system.ini%00&lName=&guestEmail= HTTP/1.1"

任何人都可以想出一个解决方案，它可以更好地解析无效的 URI 或至少不会崩溃，即尽可能多地解析 URL 并丢弃垃圾？

Answer 1

是的，通过使用grok的多重匹配能力。

https://groups.google.com/forum/#!topic/logstash-users/H3_3gnWY2Go

https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html#plugins-filters-grok-match

当与break_on_match => true（默认）结合使用时，您可以指定多个模式供grok尝试，并在找到匹配的模式并应用后停止。

在这里，如果第一个模式不起作用，它将尝试使用 NOTSPACE 的下一个模式，这会吃掉那些坏字符，并标记字段 bad_url 而不是 url

filter {
  grok { 
    match => { 
      "message" => [ 
        "%{WORD:method} %{URIPATHPARAM:url} HTTP/%{NUMBER:httpversion}", 
        "%{WORD:method} %{NOTSPACE:bad_url} HTTP/%{NUMBER:httpversion}" 
      ]
    }
    break_on_match => true
  }
}