Filebeat 正在处理所有日志而不是指定的应用程序日志

Question

我有一个应用服务器，我在其中配置了 filebeat（通过 Chef）来提取日志并将其发布到 logstash（一个单独的 ELK 服务器），然后发布到 ES 和 Kibana。

我已将 filebeat 配置为仅处理来自 /opt/app_logs/*.log 的日志，但它似乎也在从其他位置读取日志，因为在 /etc/filebeat 配置目录中，我有 filebeat.full.yml和其他自动生成的 yml 文件，并且它们似乎具有所有其他文件位置，因此由于日志量如此之大，logstash 服务在几分钟内就会用 logstash.log 耗尽内存。如何不自动生成其他 yml 文件？ 我尝试删除此文件并尝试从探矿者中注释掉所有 /var/log 路径，但随后 filebeat 本身没有启动。

filebeat.yml 文件：

filebeat:
  prospectors: []
  registry_file: "/var/lib/filebeat/registry"
  config_dir: "/etc/filebeat"
output:
  logstash:
    hosts:
    - elk_host:5044
    index: logstash-filebeat
shipper:
  name: serverA
  tags:
  - A
logging:
  to_files: 'true'
  files:
    path: "/var/log/filebeat"
    name: filebeat_log
    rotateeverybytes: '10485760'
  level: info
prospectors:
- paths:
  - "/opt/app_logs/*.log"
  encoding: plain
  input_type: log
  ignore_older: 24h

Answer 1

您的配置的主要问题是，对于 Filebeat 1.2.3，您定义了两次 prospectors 列表，而第二个列表不在正确的位置。

第二个问题是您将config_dir 定义为/etc/filebeat。 config_dir 用于指定查找配置文件的附加目录。它永远不应该设置为/etc/filebeat，因为这是主配置文件所在的位置。有关使用信息，请参阅https://stackoverflow.com/a/39987501/503798。

第三个问题是您在to_files 和rotateeverybytes 中使用了字符串类型。它们应该分别是布尔和整数类型。

这是 Filebeat 1.x 的配置应如何显示。

filebeat:
  registry_file: "/var/lib/filebeat/registry"
  config_dir: "/etc/filebeat/conf.d"
  prospectors:
  - paths:
    - "/opt/app_logs/*.log"
    encoding: plain
    input_type: log
    ignore_older: 24h
output:
  logstash:
    hosts:
    - elk_host:5044
    index: logstash-filebeat
shipper:
  name: serverA
  tags:
  - A
logging:
  to_files: true
  files:
    path: "/var/log/filebeat"
    name: filebeat_log
    rotateeverybytes: 10485760
  level: info

我强烈建议您升级到 Filebeat 5.x，因为它使用 filebeat -configtest 进行了更好的配置验证。