我正在研究一种从我们的 CentOs 6.x 服务器集中日志文件聚合的解决方案。在安装 Elasticsearch/Logstash/Kibana (ELK) 堆栈后，我遇到了一个 Rsyslog omelasticsearch 插件，它可以将消息从 Rsyslog 以 logstash 格式发送到 Elasticsearch，并开始问自己为什么需要 Logstash。
Logstash 有很多不同的输入插件，包括一个接受 Rsyslog 消息的插件。我是否有理由将 Logstash 用于需要从多个服务器收集日志文件内容的用例？另外，将消息从 Rsyslog 发送到 Logstash 而不是直接发送到 Elasticsearch 有什么好处吗？
【问题讨论】：
如果您真的想依靠系统在负载下运行并保持高可用性，这两种方法都不是一个可行的选择。
我们发现使用 rsyslog 发送到一个集中位置，使用 kafka 的 redis 将其归档，然后使用 logstash 发挥其魔力并传送到 Elasticsearch 是最佳选择。
阅读我们的博客here - http://logz.io/blog/deploy-elk-production/
（免责声明 - 我是 logz.io 的 VP 产品，我们提供 ELK 作为服务）
【讨论】：
如果我需要一些 rsyslog 没有的东西，我会在中间使用 Logstash。例如，从 IP 地址获取 GeoIP。
另一方面，如果我需要在 Elasticsearch 中获取 syslog 或文件内容索引，我会直接使用 rsyslog。它可以做缓冲（磁盘+内存）、过滤，您可以选择文档的外观（例如，您可以使用文本严重性而不是数字），并且可以解析非结构化数据。但主要优点是性能，rsyslog 专注于性能。这是一个关于 Logstash、rsyslog 和 Elasticsearch 的演示文稿，其中包含一些数字（以及提示和技巧）： http://blog.sematext.com/2015/05/18/tuning-elasticsearch-indexing-pipeline-for-logs/
【讨论】：
我会推荐logstash。这将更容易设置，更多示例，并且经过测试它们可以组合在一起。
另外，还有一些好处，在logstash中你可以过滤和修改你的日志。
此外，您可以设置批量大小以优化保存到弹性。 另一个功能，如果出现问题并且弹性无法处理的每秒大量日志，您可以设置 logstash 以保存一些事件队列或丢弃无法保存的事件。
【讨论】：
如果你直接从服务器到elasticsearch，你可以得到基本的文档（假设来源是json等）。对我来说，logstash 的强大之处在于通过应用业务逻辑来修改和扩展日志，从而为日志增加价值。
这是一个示例：syslog 提供了一个优先级 (0-7)。我不想有一个值为 0-7 的饼图，所以我创建了一个新字段，其中包含可用于显示的漂亮名称（“emerg”、“debug”等）。
只是一个例子......
【讨论】：