如何将文件中的日志数据写入 Splunk

Question

应用程序将其日志写入保存在例如 /home/my-user/myapp/ 目录中的文件中。

我想将这些文件中的数据（日志）发送到 Splunk。

我想在 Telegraf 中使用 [inputs.file] 或 [inputs.tail] 插件。

为了验证它是否可行，我想从日志文件中输出数据/home/myuser/myapp/connect.log1到另一个文件测试输出日志第一的。

示例日志数据如下：

[2022-09-02 20:06:30,199] INFO [sftp_source_bht_extract|task-0] No files matching [^\s]+(\.(?i)(csv))$ were found in /dci/BHT (io.confluent.connect.sftp.source.SftpFileDequeue:86)
[2022-09-02 20:06:30,446] INFO [mongo_sftp_source_billing_statement_history|task-0] File queue out of files, searching for new file(s) in /dci/genius/out (io.confluent.connect.sftp.source.SftpFileDequeue:66)
[2022-09-02 20:06:30,449] INFO [sftp_source_bht_extract|task-0] File queue out of files, searching for new file(s) in /dci/BHT (io.confluent.connect.sftp.source.SftpFileDequeue:66)

以下是涵盖上述用例的 Telegraf 配置部分：

[[inputs.file]]
  files = ["/home/my-user/myapp/connect.log.1"]
  data_format = "grok"
  grok_patterns = ["%{GREEDYDATA}"]

[[outputs.file]]
    files = ["stdout","/tmp/testoutput_log"]
    data_format = "influx"

但是输出文件仍然是空的。还尝试了各种输出数据格式 - 没有成功。

我究竟做错了什么？

Answer 1

根据文档，您需要在使用 grok parser 时至少定义一个字段。

当使用 influx 数据格式时，度量要求字段有效，因此有此要求。