ELK 堆栈 - 我如何将所有旧日志回填到弹性搜索中？

Question

我已经设置了 ELK + filebeat 并输入了日志，但想将所有旧日志回填到 logstash/ES 中。我怎样才能做到这一点？人们提到删除 sincedb 文件和/或将其添加到我的 logstash input.conf：

  file {
      path => "/var/log/xx/xx.log"
      start_position => "beginning"
      sincedb_path => "/dev/null"
     }

但是我将它添加到我的输入配置中并重新启动了 logstash，但在 Kibana 中仍然看不到旧日志。我也找不到大家参考的 sincedb_* 文件。我的 ELK 节点是 RHEL 服务器。

谢谢

Answer 1

如果这些文件是旧文件，最好将ignore_older => 0 添加到您的配置中。

  file {
      path => "/var/log/ptsfd-mms/ptsfd-mms.log"
      start_position => "beginning"
      sincedb_path => "/dev/null"
      ignore_older => 0
  }