EFK Stack 中的 Fluentbit 和 Fluentd，为什么我需要使用 fluentd？答案

【问题标题】：Fluentbit and Fluentd in EFK Stack, why i need to use fluentd?EFK Stack 中的 Fluentbit 和 Fluentd，为什么我需要使用 fluentd？
【发布时间】：2020-07-18 16:23:10
【问题描述】：

大家好，谁能向我解释一下为什么我需要使用 fluentd 作为聚合器？以下是我一直在研究的基础架构

Fluentbit(Log Forwarder) --> Fluentd(Data Processing and Aggregator) --> Elasticsearch --> Kibana

抱歉没有显示图片，但您可以在这里找到我的意思：https://medium.com/redbox-techblog/building-an-open-data-platform-logging-with-fluentd-and-elasticsearch-4582de868398

好吧，也许这是一个奇怪的问题，但我还是不明白我为什么需要它？当我只能使用fluentbit将日志直接转发到elasticsearch时，为什么我们必须需要聚合器？

有关更多信息，我将为几个节点使用大量 fluentbit（我认为大约 50 个节点）

如果你能帮助我，我很感激，对不起我的英语不好

谢谢

【问题讨论】：

标签： aggregate fluentd aggregator

【解决方案1】：

您不需要它，只需确保您的 Elasticsearch 集群设置正确，以便它可以处理多个传入连接和流量的负载。

【讨论】：

好的，谢谢你的回答，真的很喜欢它，但它足以准备生产吗？如果我们不需要聚合器，为什么有人建议我们必须这样做？这些拓扑是为了大事吗？或者是其他东西？如果您再次回复，谢谢，因为我真的需要它才能让我的论文毕业。

【解决方案2】：

像 fluentd 或 logstash 这样的日志收集器可确保不存在“坏数据”的风险，这可能会在生产过程中导致问题。日志收集器提供unified logging layer，将数据源与后端系统解耦。

希望这会有所帮助。

【讨论】：