Logstash - 将日志文件的输出发送到 elk

Question

我在弹性搜索中有一个索引，它有一个名为 locationCoordinates 的字段。它正在从 logstash 发送到 ElasticSearch。

该字段中的数据如下所示...

-38.122, 145.025

当此字段出现在 ElasticSearch 中时，它不会作为地理点出现。

我知道如果我在下面这样做，它会起作用。

{
  "mappings": {
    "logs": {
      "properties": {
        "http_request.locationCoordinates": {
          "type": "geo_point"
        }
      }
    }
  }
}

但我想知道的是如何更改我的 logstash.conf 文件，以便它在启动时执行此操作。

目前我的 logstash.conf 看起来有点像这样......

input {

    # Default GELF input
    gelf {
        port => 12201
        type => gelf
    }

    # Default TCP input
    tcp {
        port => 5000
        type => syslog
    }

    # Default UDP input
    udp {
        port => 5001
        type => prod
        codec => json
    }
    file {
       path =>  [ "/tmp/app-logs/*.log" ]
       codec =>   json {
          charset => "UTF-8"
       }
       start_position => "beginning"
       sincedb_path => "/dev/null"
   }
}

filter {
   json{
      source => "message"
   }
}

output {
    elasticsearch {
        hosts => "elasticsearch:9200"
    }
}

我最终在 Kibana 中得到了这个（没有小地理标志）。

Answer 1

您只需修改您的elasticsearch 输出以配置一个索引模板，您可以在其中添加您的附加映射。

output {
    elasticsearch {
        hosts => "elasticsearch:9200"
        template_overwrite => true
        template => "/path/to/template.json"
    }
}

然后在/path/to/template.json 的文件中，您可以添加额外的geo_point 映射

{
  "template": "logstash-*",
  "mappings": {
    "logs": {
      "properties": {
        "http_request.locationCoordinates": {
          "type": "geo_point"
        }
      }
    }
  }
}

如果你想保留官方的logstash模板，你可以download it并添加你特定的geo_point映射到它。