dockerized logstash 正在生成巨大的日志文件答案

【问题标题】：dockerized logstash is generating huge log filesdockerized logstash 正在生成巨大的日志文件
【发布时间】：2018-01-13 09:24:35
【问题描述】：

我在 AWS ECS 中运行如下图所示的 logstash 容器

docker.elastic.co/logstash/logstash:5.5.3

一切都是默认的，我没有使用标准输出插件。但是logstash仍然将所有日志项输出到stdout，并且容器正在生成一个巨大的日志文件

/var/lib/docker/containers/51889a642e7e1252b5825379b11cea4e064cda519e8a6a4194335d9e8eb11616/51889a642e7e1252b5825379b11cea4e064cda519e8a6a4194335d9e8eb11616-json.log

有没有办法从logstash 端禁用它？ AWS ECS 似乎还不支持--log-driver none。

logstash.conf和logstash.yml如下：

[ec2-user@ip-xxxxx logstash]$ cat logstash.conf 
input {
  sqs {
    queue => "compute-logs"
    polling_frequency => 5
    region => "ap-southeast-1"
    type => "compute-logs"
  }
}
...
output {
  elasticsearch {
    codec => "json"
    hosts => "https://xxxxx.ap-southeast-1.es.amazonaws.com:443"
    user => "logstash"
    index => "%{name}"
    template => "/usr/share/logstash/config/elasticsearch_template.json"
    template_name => "logstash"
    template_overwrite => true
  }
}
[ec2-user@ip-xxxxx logstash]$ ls
elasticsearch_template.json  logstash.conf  logstash.yml
[ec2-user@ip-xxxxx logstash]$ cat logstash.yml 
http.host: "0.0.0.0"
path.config: /usr/share/logstash/pipeline
xpack.monitoring.elasticsearch.url: http://elasticsearch:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: changeme
xpack.monitoring.enabled: false
log.level: error

【问题讨论】：

请分享您的logstash配置文件。
添加了@whites11
您还在日志中看到您的事件吗？这很奇怪。你确定logstash实际上在使用你的配置文件吗？
@whites11 你是对的原来我将logstash.conf 文件安装为logstash.json 并且它没有覆盖默认的logstash.conf 文件。所以默认的标准输出日志仍然被启用。解决了这个问题，现在一切都很好。

标签： docker logstash aws-ecs

【解决方案1】：

这是解决方案 docker swarm 服务：

services:
  logstash:
    image: docker.elastic.co/logstash/logstash:6.4.2
    ports:
      - 25000:25000
      - 25000:25000/udp
    logging:
      options:
        max-size: "10m"
        max-file: "10"

【讨论】：