Logstash - 错误日志事件日期作为字符串到 ES答案

【问题标题】：Logstash - Error log event date going as string to ESLogstash - 错误日志事件日期作为字符串到 ES
【发布时间】：2015-03-26 11:59:49
【问题描述】：

我正在使用 Logstash 将错误日志从应用服务器转发到 ES。除了日志时间戳作为字符串发送到 ES 之外，一切正常。

这是我的日志格式

[日期：2015-03-25 01:29:09,554] [ThreadId:4432] [HostName:AEPLWEB1] [Host:(null)] [ClientIP:(null)] [Browser:(null)] [UserAgent :(null)] [PhysicalPath:(null)] [Url:(null)] [QueryString:(null)] [Referrer:(null)] [Carwale.Notifications.ExceptionHandler] System.InvalidCastException：无法转换类型的对象“Carwale.Entity.CMS.Articles.ArticleDetails”键入“Carwale.Entity.CMS.Articles.ArticlePageDetails”。在 Carwale.Cache.Core.MemcacheManager.GetFromCacheCore[T](String key, TimeSpan cacheDuration, Func`1 dbCallback, Boolean& isKeyFirstTimeCreated)

logstash 转发器的过滤器配置

filter {  

    multiline {
            pattern => "^\[Date:%{TIMESTAMP_ISO8601}"
            negate => true
            what => "previous"
        }   

    grok {
        match => [ "message", "(?:Date:%{TIMESTAMP_ISO8601:log_timestamp})\] \[(?:ThreadId:%{NUMBER:ThreadId})\] \[(?:HostName:%{WORD:HostName})\] \[(?:Host:\(%{WORD:Host})\)\] \[(?:ClientIP:\(%{WORD:ClientIP})\)\] \[(?:Browser:\(%{WORD:Browser})\)\] \[(?:UserAgent:\(%{WORD:UserAgent})\)\] \[(?:PhysicalPath:\(%{WORD:PhysicalPath})\)\] \[(?:Url:\(%{WORD:Url})\)\] \[(?:QueryString:\(%{WORD:QueryString})\)\] \[(?:Referrer:\(%{WORD:Referrer})\)\] \[%{DATA:Logger}\] %{GREEDYDATA:err_message}" ]  
    }

    date {
        match => [ "log_timestamp", "MMM dd YYY HH:mm:ss","MMM  d YYY HH:mm:ss", "ISO8601" ]
        target => "log_timestamp"
    }

    mutate {
        convert => ["ThreadId", "integer"]
    }
}

我怎样才能让它在 ES 中约会？请帮忙。提前致谢。

【问题讨论】：

我猜它不喜欢覆盖字段。使用另一个字段名称。我建议使用默认值 (@timestamp)。
您是否考虑过为您的 logstash 索引创建映射模板？

标签： elasticsearch logstash logstash-grok logstash-forwarder

【解决方案1】：

我有类似的问题。现在使用以下解决方法修复它。

      grok {
        match => {
            "message" => "%{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day}[T ]%{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}" 

             }
        }

  grok{
    match => {
        "second" => "(?<asecond>(^[^,]*))"  }
    }

mutate {
        add_field => { 
        "timestamp" => "%{year}-%{month}-%{day} %{hour}:%{minute}:%{asecond}"
                             }
    }

    date{  match => [ "timestamp", "yyyy-MM-dd HH:mm:ss" ] timezone=> "UTC" target => "log_timestamp" }

谢谢，

【讨论】：