容器 STDOUT 到两个单独的 ELS 索引

Question

我有一个容器化应用程序，它将两类信息作为单行 JSON 写入 STDOUT。第一类是诊断日志（ERR/WARN 等），第二类是内容访问日志（CONTENT_ID/USER_ID 等）。我打算运行一个 Filebeats sidecar 来收集这个输出到 ELS。我想在一个索引中获取诊断日志项，在另一个索引中获取内容访问日志。

我能否使用指向同一个文件的多个输入运行 Filebeat，并在每个输入上配置包含行以获取不同的行并将它们输出到正确的索引？有一个更好的方法吗？或者我根本不应该尝试这样做，也许我应该让容器化应用将内容日志显式写入单独的文件？

Answer 1

您可以使用 Logstash 执行此操作，但这可能是一种矫枉过正且没有必要的操作。

您可以使用dissect processor in Filebeat 将某些内容从不同的日志行中分离出来以区分它们吗？根据需要使用conditions 和add_labels 设置具有预期索引名称的某些字段。

然后您可以在Elasticsearch output for the index 中使用它来写入不同的索引（例如文档中的{[fields.log_type]}）。