为 filebeat 创建管道答案

【问题标题】：Create pipeline for filebeat为 filebeat 创建管道
【发布时间】：2020-11-17 09:35:31
【问题描述】：

我已启用 filebeat 系统模块：

filebeat modules enable system
filebeat setup --pipelines --modules system
filebeat setup --dashboards
systemctl restart filebeat

这就是logstash要说的pipeline with id [filebeat-7.9.0-system-auth-pipeline] does not exist

这是负责它的logstash部分：

output {
    if [@metadata][pipeline] {
        elasticsearch {
            hosts => "https://localhost:9200"
            manage_template => false
            cacert => "/etc/elasticsearch/estackcap12extract.crt"
            ssl => true
            ssl_certificate_verification => false
            index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
            pipeline => "%{[@metadata][pipeline]}"
            user => "elastic"
            password => "*secret*"
        }
    } else {
    ...

我需要为此手动创建管道吗？我做错什么了吗？我能找到的最好的是this doc page page，但它似乎是用于定制的东西，这是一个现成的模块，所以我不确定它的相关性。

【问题讨论】：

运行这个GET _ingest/pipeline/filebeat-7.9.0-system-auth-pipeline会得到什么？ 404？
如果我理解正确的话，Filebeat 直接连接到 Logstash 而不是 ES，对吗？如果是这种情况，您确定您在 filebeat 配置中配置了 kibana URL，以便它可以正确安装摄取管道和仪表板吗？
感谢您的回复。是的，我得到了 404。Kibana 配置正确。
你介意分享运行filebeat setup -d "*" --pipelines --modules system时得到的输出吗？
感谢您的回复，它没有返回任何内容。

标签： elasticsearch logstash kibana elastic-stack filebeat

【解决方案1】：

问题是您的 Filebeat 没有直接连接到 ES，而只能通过 Logstash 连接。这是一个已知问题，但由于 *Beat 只能作为单个输出，因此您需要执行以下技巧。

您需要做的是在运行 setup 命令时取消注释 elasticsearch 输出，以便 Filebeat 可以安装摄取管道。

完成后，您需要再次注释掉该输出并取消注释 Logstash ，然后才能真正启动 Filebeat。

如果您不想修改配置文件，还有另一种方法，将配置变量传递给filebeat setup，如下所示：

filebeat setup --pipelines --modules system \
    -E output.logstash.enabled=false \
    -E output.elasticsearch.username="elastic" \
    -E output.elasticsearch.password="*secret*" \
    -E 'output.elasticsearch.ssl.certificate_authorities="/etc/elasticsearch/estackcap12extract.crt"' \
    -E output.elasticsearch.hosts="https://localhost:9200"

【讨论】：