Filebeat - 从消息行解析字段

Question

我正在使用 Filebeat 将日志数据从我的本地 txt 文件传送到 Elasticsearch，并且 我想将message 行中的一些字段添加到事件中 - 例如时间戳和日志级别。例如，这是我的日志行之一：

2016-09-22 13:51:02,877 INFO 'start myservice service'

我的问题是：我可以通过 Filebeat -> Elasticsearch 做到这一点，还是必须通过 Logstash？

Answer 1

如果您使用 Elasticsearch 5.0 中的 Ingest Node 功能，您可以使用 Filebeat -> Elasticsearch。否则，是的，您需要使用Logstash。

在这两种情况下，您都可以使用grok filter 将message 行解析为结构化数据。此外，您还需要使用 date 来解析和规范化日期。