【问题标题】:Does logstash update the .sincedb file after a log file is completely processed or during the reading process?logstash 是否在日志文件完全处理后或在读取过程中更新 .sincedb 文件?
【发布时间】:2016-11-07 17:01:13
【问题描述】:

Logstash 是否会在读取日志文件到最后或在读取过程中更新 .sincedb 文件?

例如: 假设有一个目录正在被 Logstash 监控。一个文件 [说 file1.log 最大偏移量(文件大小)为 10000 ] 被复制到这个目录中。

当 Logstash 达到偏移量 10000 时,是否使用 file1.log 的信息更新/创建 .sincedb 文件(如果尚未存在)?

我认为 logstash 应该定期更新 .sincedb 文件,但我注意到它会在文件被完全读取后更新/创建。

【问题讨论】:

    标签: logstash


    【解决方案1】:

    logstash file 输入插件会根据sincedb_write_interval 设置定期写入sincedb 文件。

    默认情况下,sincedb 数据库每 15 秒写入一次。

    【讨论】:

    • 这就是logstash的工作方式。但在以下场景中,.sincedb 文件仅在文件完成读取时才会更新。
      我在logstash监控的文件夹中放了10个文件(每个~100MB = ~1GB)。 Logstash 花了 10 分钟(大约)来读取每个文件,然后才将该特定文件的条目输入到 .sincedb 文件中。我什至将 sincedb_write_interval 的值设置为 30 但这没有效果。
      Logstash 显示与 .sincedb 文件不一致的行为。
      知道这里发生了什么吗?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-12-10
    • 1970-01-01
    • 2023-03-06
    相关资源
    最近更新 更多