在 Fluentd 中将多行日志解析为单个事件

【问题标题】：Parse multiline logs as a single event in Fluentd在 Fluentd 中将多行日志解析为单个事件
【发布时间】：2020-12-27 22:22:15
【问题描述】：

我们在 Openshift Container Platform 4.3 版上实施了 EFK。

问题：多行日志（例如 Java Stack 跟踪、SQL 查询）在 Fluentd 中不会被解析为单个事件，因此我们在 Kibana 中获得了多个条目。我们需要将多行日志解析为单个事件，以便在 Kibana 中获取单个条目以用于异常或 SQL 查询。

【问题讨论】：

【解决方案1】：

简单：将应用程序日志格式切换为 json。

困难： https://docs.fluentd.org/parser/multiline。通常 format_firstline 和 format1 就足够了 - 其他所有内容都会附加到下一个 format_firstline 匹配。

【讨论】：