仅通过 fluent-bit 收集具有特定字段的日志答案

【问题标题】：Only collect logs with specific field by fluent-bit仅通过 fluent-bit 收集具有特定字段的日志
【发布时间】：2021-02-19 01:47:55
【问题描述】：

例如，我的日志如下所示：

{
 "fieldA":"logA",
 "foo":"bar"
}

或

{
 "fieldA":"logA",
 "fieldB":"logB"
}

就我而言，我只希望收集带有“foo”字段的日志，同时删除其他日志。

【问题讨论】：

看看grep过滤插件：docs.fluentd.org/filter/grep。
如果您希望使用嵌套对过滤更复杂的 JSON 条目，您可能需要查看 github.com/iamAzeem/fluent-plugin-json。它使用 JSON 指针语法。参见示例：github.com/iamAzeem/fluent-plugin-json#example.
流利位 grep：docs.fluentbit.io/manual/pipeline/filters/grep

【解决方案1】：

使用grep 过滤插件仅包含带有foo 字段的事件：

[FILTER]
    Name   grep
    Match  *
    Regex  foo .*

【讨论】：