从多个服务器发送日志到集中式日志服务器的好方法是什么？答案

【问题标题】：What would be a good approach for sending logs from multiple servers a centralized logging server?从多个服务器发送日志到集中式日志服务器的好方法是什么？
【发布时间】：2015-04-10 11:51:55
【问题描述】：

我正在尝试从托管在多个 ec2 实例上的 php 应用程序发送日志，大量日志。

与其采用在每台服务器上安装 logstash 并使用 logstash-forwarder 将日志发送到日志服务器并使用 logstash 解析日志并将其提供给 elasticsearch 的标准方法，不如编写 apache 是一种更好的方法/ nginx 将日志记录到 syslog 并让 rsylog 将其发送到 logstash，然后将其提供给 elasticsearch？

长问题短 - 什么是更好的方法？

Apache/Nginx -> logstash-forwarder -> logstash -> redis (optional) -> elasticsearch

或
Apache/Nginx -> syslog -> rsyslog -> logstash -> redis (optional) -> elastic search

【问题讨论】：

我认为你应该在 serverfault 上问这个问题——那里的人在大规模日志记录方面平均知识渊博。

标签： elasticsearch logstash syslog kibana rsyslog

【解决方案1】：

我更喜欢选项一。它的活动部件更少，都包含在您可以从 Elasticsearch 购买的支持合同中，并且运行良好。我现在有超过 500 台这样配置的服务器，今年计划再增加数千台。

如果 elasticsearch 忙，logstash 将节流。如果 logstash 忙，logstash-forwarder 将限制。有了这个，就不需要经纪人了。

请注意，如果您使用没有限制的输入（例如 tcp、snmptrap、netflow 等），则需要代理。

【讨论】：

【解决方案2】：

据我说：

第一种方法，更简单，非常适合小型基础设施，可扩展性较差。
第二种方法，更复杂但更高效且可扩展，适用于大型基础设施（在我的服务器中使用：大约 500 台服务器）。

【讨论】：