filebeat/logstash 将 json 转换为 csv 格式

Question

需要建议和示例代码，因为我是 filebeat/logstash 配置的新手。收割机将 dsv 文件发送到 filebeat，filebeat 将 dsv 输入并将 json 输出发送到 logstash 服务器。

我可以将 dsv 文件格式发送到 logstash 并过滤输入并提供 csv 格式吗？对 filebeat 和 logstash 进行哪些更改以获得 csv 输出？

我正在尝试将 json 输入转换为 logstash 中的 csv，但得到一个空文件。我们正在使用 logstash 6.x 版本。 Filebeat 输入的 dsv 文件如下所示：

dbname~dbdate~dbtime
db01~120-03-2019~08:15

Answer 1

如果您可以通过 filebeat 将 db01~120-03-2019~08:15 发送到 logstash，则可以使用摘要过滤器或 csv 过滤器（使用 ~ 作为分隔符）轻松解析该字符串。然后您可以使用 csv 输出将 csv 写入文件。

或者您可以使用带有 gsub 的 mutate 过滤器将消息中的~ 替换为逗号，然后将消息写入带有文件输出的文件。