如何使用logstash转发器实现容错？答案

【问题标题】：How to achieve fault tolerance with logstash forwarder?如何使用logstash转发器实现容错？
【发布时间】：2015-04-20 12:18:12
【问题描述】：

我正在使用 Logstash Forwarder 来处理 tomcat 日志。

我的 logstash 转发器配置文件包含：

 "files": [
{
  "paths": [ "/usr/share/tomcat/impression_logs/impressions.log" ]
}]

我正在使用日志轮换，因此它会在一段时间后或文件大小超过 1MB 时将日志文件存档到不同的文件夹。

如果 logstash-forwarder 关闭了几分钟，日志将被归档并且它不会处理这些日志。

我正在使用 monit 监控 logstash 转发器，但仍有机会丢失日志。

有没有办法通过 logstash 转发器实现容错？

【问题讨论】：

日志文件是如何轮转的？是否将其复制到新文件中，然后截断原始文件？还是原文件改名了？
我们使用 log4j 来轮换日志文件。如果此文件超过 1MB 的大小，它将被重命名并替换为新的impressions.log 文件

标签： tomcat logstash logstash-forwarder logstash-configuration logstash-file

【解决方案1】：

我正在使用 logstash-forwarder 从每台服务器的 4-5 个 tomcat 发送所有日志，它工作正常并且没有日志丢失。可能你只需要将“死时间”设置为 24 小时，对我来说是 10 分钟。因为如果转发器将下降，然后将在几个小时后启动，当它开始发送所有日志 24 小时时，您可能会获得高负载。

【讨论】：