Logstash 不添加字段答案

【问题标题】：Logstash not adding fieldsLogstash 不添加字段
【发布时间】：2015-05-11 14:31:17
【问题描述】：

我使用的是 Logstash 1.4.2，并且我有以下 conf 文件。

我希望在 Kibana 的左侧“字段”部分中看到“received_at”、“received_from”和“description”选项，但我没有。

我明白了

@timestamp
@版本
_id
_index
_type 主机路径

我确实在右侧的 _source 部分看到了以下内容...

received_at:2015-05-11 14:19:40 UTC received_from:PGP02 descriptionError1!

所以回家这些没有出现在“热门领域”列表中？

我想过滤右侧以不显示右侧 _source 部分中的每个字段。请原谅编辑块。

input
{
    file {
        path => "C:/ServerErrlogs/office-log.txt"
        start_position => "beginning"
        sincedb_path => "c:/tools/logstash-1.4.2/office-log.sincedb"
        tags =>  ["product_qa", "office"]
    }
    file {
        path => "C:/ServerErrlogs/dis-log.txt"
        start_position => "beginning"
        sincedb_path => "c:/tools/logstash-1.4.2/dis-log.sincedb"
        tags =>  ["product_qa", "dist"]
    }   

}
filter {

    grok {
        match => ["path","%{GREEDYDATA}/%{GREEDYDATA:filename}\.log"]
        match => [ "message", "%{TIMESTAMP_ISO8601:logdate}: %{LOGLEVEL:loglevel} (?<logmessage>.*)" ]
        add_field => [ "received_at", "%{@timestamp}" ]
        add_field => [ "received_from", "%{host}" ]     
    }
    date {
        match => [ "logdate", "ISO8601", "yyyy-MM-dd HH:mm:ss,SSSSSSSSS" ]
    }
    #logdate is now parsed into timestamp, remove original log message too
    mutate {
        remove_field => ['message', 'logdate' ]
        add_field => [ "description", "Error1!" ]
    }
}

output {
  elasticsearch {          
    protocol => "http"
    host => "0.0.0.x"
  }
}

更新：

我已经厌倦了使用如下查询进行搜索：

标签：数据和日志级别：信息

然后保存此查询，然后重新加载页面。

但我仍然没有看到日志级别显示为“热门字段”

【问题讨论】：

热门字段是之前在其他搜索中使用过的字段——要让某些内容出现在此处，您至少需要使用一次。

标签： logstash kibana kibana-4 elasticsearch

【解决方案1】：

如果字段没有出现在左侧，则可能是 kibana 缓存问题。转到设置->索引，选择您的索引，然后单击橙色的刷新按钮。

【讨论】：

每次我们都必须单击刷新！ :)

【解决方案2】：

我遇到了同样的问题，logstash 没有添加字段，经过大量搜索和测试其他事情后，我突然有了解决方案（但我正在使用 logstash-logback-encoder，所以我已经有了 JSON - 如果你不这样做´t，那么您需要在 logstash “输入”阶段将内容转换为 JSON）。

我添加了一个“json”插件过滤器，这对我来说很神奇：

filter {
    json {
        source => "message"
    }
}

【讨论】：