【问题标题】:Converting date MMM dd HH:mm:ss for logstash为 logstash 转换日期 MMM dd HH:mm:ss
【发布时间】:2012-11-24 15:26:18
【问题描述】:

我有一个自定义格式的日志文件,日期字段如下所示:

Dec  4 23:59:21
Nov 21 23:59:21

在我的 logstash 配置中,我有这个用于过滤器:

date {
    type => "custom"
    # tell it the format
    custom_timestamp => ["MMM  d HH:mm:ss", "MMM dd HH:mm:ss"]
    # locale didn't help
    locale => "en"
}
mutate{
    type => "custom"
    # replace the timestamp
    replace => ["@timestamp", "%{custom_timestamp}"]
}

据说它用日志中的自定义时间戳替换了 logstash 时间戳(我目前正在从旧日志中回填它以进行测试)。

如果我打开调试标志并输出到标准输出,它显示@timestamp 已被custom_timestamp 替换,但我收到一条错误消息,告诉我它无法导入:

:exception=>java.lang.IllegalArgumentException: Invalid format: "Dec  4 23:59:21"

如何转换日期格式?

【问题讨论】:

    标签: logstash


    【解决方案1】:

    这篇文章中有两个误解:

    1. java异常是因为你的格式没有YEAR,所以不能安全解析日期。
    2. 如果您希望其他应用程序将您的旧导入日志视为连贯的时间线,则需要运行 mutate。否则,当您导入所有旧日志时,您只会看到几分钟的事件集中(在导入期间)。

    除此之外,很好的问题/答案,它帮助我回到了我的特定问题的正轨;)

    【讨论】:

    • 在我的回答中还是在问题中?我的回答对我有用,但如果需要,我可以清除它。
    【解决方案2】:

    原来我使用的样本是错误的。你不需要变异替换,现在的配置是这样的:

    date {
        type => "custom"
        # tell it the format
        custom_timestamp => ["MMM  d HH:mm:ss", "MMM dd HH:mm:ss"]
        # date format is english, computer might not be
        locale => "en"
    }
    mutate{
        type => "custom"
        #other mutations go here
    }
    

    【讨论】:

    • "type" 现已弃用
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-11-28
    • 1970-01-01
    • 2021-01-29
    • 2017-10-11
    • 1970-01-01
    相关资源
    最近更新 更多