Filebeat hassting 问题答案

【问题标题】：Filebeat havesting problemsFilebeat hassting 问题
【发布时间】：2020-02-14 13:48:14
【问题描述】：

我一直面临着一个问题。我的 filebeat 插件没有收集我要求他在我的 conf 文件中收集的字段。我正在使用 filebeat 7.6.0

我的会议：

filebeat.inputs:
- type: log
  paths:
    - /var/log/user.log
    - /var/log/slapd.log
output.kafka:
  hosts: ["kafka1:9092"]
  topic: 'log'
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: gzip
  max_message_bytes: 10000000

日志输出：

|2020-02-14T07:55:58.664Z|INFO|crawler/crawler.go:72|Loading Inputs: 1,
|2020-02-14T07:55:58.665Z|INFO|log/input.go:152|Configured paths: [/var/log/user.log /var/log/slapd.log],|
|2020-02-14T07:55:58.665Z|INFO|input/input.go:114|Starting input of type: log; ID: 6297130742941599674 ,|
|2020-02-14T07:55:58.665Z|INFO|crawler/crawler.go:106|Loading and starting Inputs completed. Enabled inputs: 1,
|2020-02-14T07:56:00.664Z   INFO    [monitoring]    log/log.go:145  Non-zero metrics in the last 30s    {"monitoring": {"metrics": {"beat":{"cpu":{"system":{"ticks":250,"time":{"ms":8}},"total":{"ticks":390,"time":{"ms":16},"value":390},"user":{"ticks":140,"time":{"ms":8}}},"handles":{"limit":{"hard":1048576,"soft":1048576},"open":6},"info":{"ephemeral_id":"a601336e-8252-460f-9a25-f05dad5851b2","uptime":{"ms":480275}},"memstats":{"gc_next":8594432,"memory_alloc":5169696,"memory_total":17158072},"runtime":{"goroutines":20}},"filebeat":{"harvester":{"open_files":0,"running":0}},"libbeat":{"config":{"module":{"running":0}},"pipeline":{"clients":1,"events":{"active":0}}},"registrar":{"states":{"current":0}},"system":{"load":{"1":0.21,"15":1.06,"5":0.88,"norm":{"1":0.105,"15":0.53,"5":0.44}}}}}}

我一直在尝试通过收集各种文件来解决它。但到目前为止还没有成功。我总是得到这个"filebeat":{"harvester":{"open_files":0,"running":0}}

谢谢！

【问题讨论】：

标签： elasticsearch filebeat logstash-forwarder

【解决方案1】：

可能排除问题不在于 Kafka 输出。为了测试，设置 FIlebeat file output 并检查您是否收到任何数据。

【讨论】：

我试过了，我删除了 kafka 部分，只关注 filebeat 输出。仍然没有收获所需的文件。我感觉 filebeat 无法打开日志文件进行收获，原因不明。
现在，通过确保 filebeat 可以访问日志文件来排除输入问题。而且日志文件里面也有一些数据，至少有两行数据。