filebeat 修改来自其他来源的丰富 json 的数据

Question

日志格式包含以逐行格式编码的json。 每一行都是

{data,payload:/local/path/to/file}
{data,payload:/another/file}
{data,payload:/a/different/file}

最初的想法是将logstash配置为使用http输入，编写一个获取文件的java（或任何东西）守护程序，逐行解析它，将有效负载替换为文件内容，并将数据发送到logstash。

我无法修改服务器的工作方式，因此无法更改日志格式。 Logstash 机器是不同的主机，因此无法直接访问文件。 Logstash 无法从 server_host 挂载共享文件夹。 由于解决方案的合规性需要遵守一些不受我控制的愚蠢规则，我无法为 logstash 打开单个端口。

现在，为了节省一些时间并获得比定制解决方案更可靠的解决方案，可以将 filebeat 配置为处理 json 的每一行，然后将其发送到 logstash，添加到它

{data,payload:content_of_the_file}

Answer 1

Filebeat 无法进行此类高级转换，因为它仅用于转发日志，它甚至无法进行像 logstash这样的基本字符串处理> 会。我建议您编写一个自定义脚本来执行此转换并将输出写入不同的文件。

您可以使用 filebeat 将这个新文件的内容发送到 logstash。