Elasticsearch Filebeat 到 GCP PubSub答案

【问题标题】：Elasticsearch Filebeat to GCP PubSubElasticsearch Filebeat 到 GCP PubSub
【发布时间】：2021-02-02 19:04:58
【问题描述】：

我想设置类似这样的环境：
但要使用 GCP PubSub 而不是 Kafka。
我知道，Filebeat 没有 PubSub 输出。实现这一目标的最简单方法是什么？我知道，Logstash 可用于从 Filebeat 获取数据并将其推送到 PubSub。但是在我想从中收集日志的每台服务器上安装和配置 Logstash 实例似乎有点过头了。
关于如何实现它的任何想法？

【问题讨论】：

标签： elasticsearch google-cloud-pubsub filebeat

【解决方案1】：

由于 Filebeat 无法将日志发送到 Google PubSub，因此您需要使用 Logstash，但您不需要在每台服务器上安装 Logstash，您可以使用 Logstash 管道来监听您的节拍并将日志发送到Google PubSub，那么您可以使用多个 logstash 管道从 Google PubSub 消费。

例如，您将拥有这样的管道：

input {
    beats { *your beats configuration* }
}
output {
    google_pubsub { *your gcp pubsub configuration* }
}

然后，您可以从 gcp pubsub 使用其他管道。

input {
    google_pubsub { *your gcp pubsub configuration* }
}
output {
    elasticsearch { *your elasticsearch configuration* }
}

您可以只使用 multiple pipelines 为所有内容创建一台 Logstah 服务器，其中一个管道将监听节拍并发送到 pubsub，而其他管道将从 pubsub 消耗并发送到 elasticsearch。

【讨论】：

感谢提示。尽管在 PubSub 之前获得 Logstash 集群几乎拒绝了所有 PubSub 专业人士 - 这可以作为 Logstash 的灵活负载平衡器和缓冲区。
好吧，您将有一个管道只是将数据放入 PubSub，您可以使用完全不同的 Logstash，如果支持的话，与直接从 Filebeat 发送数据没有太大区别。您也可以尝试使用 fluentd 将日志直接发送到 Google PubSub。