【问题标题】:Logstash Elasticsearch output use parsed field from input fileLogstash Elasticsearch 输出使用输入文件中的解析字段
【发布时间】:2015-03-03 22:54:37
【问题描述】:

我有很多格式为drupallogYYYYMMDD 的旧日志文件,我想将它们放入logstash 中,默认情况下,elasticsearch 输出会为今天创建索引。我可以用index: "...." 覆盖它,但是有没有办法在logstash conf 文件中设置它,以便它从上面获取YYYYMMDD 并将其转换为命名约定logstash-YYYY-MM-DD

【问题讨论】:

    标签: elasticsearch logstash


    【解决方案1】:

    elasticsearch output 的索引选项默认为“logstash-%{+YYYY.MM.dd}”,但如果您喜欢在你的约会对象。

    插入到所述索引名称模式中的日期是每条消息的时间戳(即@timestamp)字段。由于@timestamp 是UTC,它可能与您的日志文件名中的日期不完全对应,具体取决于您如何命名文件以及您所在的时区。您不应尝试更改@timestamp 字段的时区。其他工具依赖于消息的@timestamp 字段和存储它的索引之间的映射。

    【讨论】:

    • 是的,因为我将时间戳字段设置为实际的系统日志日期,而不是正确创建索引的今天日期。假设我有一堆日志文件要在一个目录中运行。我可以指定一个.../*.log 输入文件,logstash 会一个接一个地吃掉吗?
    • 是的,支持通配符。
    猜你喜欢
    • 2015-05-09
    • 1970-01-01
    • 1970-01-01
    • 2015-10-29
    • 1970-01-01
    • 2017-10-14
    • 1970-01-01
    • 2016-08-16
    • 2016-08-19
    相关资源
    最近更新 更多