Fluentbit Kubernetes - 如何从现有日志中提取字段

Question

我已经在我的 Kubernetes 集群上使用 Fluent-bit 配置了 EFK 堆栈。我可以在 Kibana 中看到日志。

我也部署了 nginx pod，我也可以在 Kibana 中看到这个 nginx pod 的日志。但是所有的日志数据都被发送到一个单一的字段“log”，如下所示。

如何将每个字段提取到单独的字段中。在这个问题中已经有一个 fluentd 的解决方案。 Kibana - How to extract fields from existing Kubernetes logs

但是如何使用 fluent-bit 实现相同的效果？

我尝试了以下方法，在 Kubernetes 的默认 FILTER 部分下再添加一个 FILTER 部分，但没有奏效。

[FILTER]
    Name                parser
    Match               kube.*
    Key_name            log
    Parser              nginx

从这个 (https://github.com/fluent/fluent-bit/issues/723)，我可以看到 fluent-bit 没有 grok 支持。

Answer 1

看看这个配置图：

https://github.com/fluent/fluent-bit-kubernetes-logging/blob/master/output/elasticsearch/fluent-bit-configmap.yaml

nginx 解析器应该在那里：

[PARSER]
        Name   nginx
        Format regex
        Regex ^(?<remote>[^ ]*) (?<host>[^ ]*) (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^\"]*?)(?: +\S*)?)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z

Answer 2

在我们的 Kubernetes 过滤器官方文档中，我们有一个示例，说明如何让您的 Pod 根据注释为您的数据建议解析器：

https://docs.fluentbit.io/manual/filter/kubernetes