限制 salt-minion 日志文件的大小

Question

在没有明显原因的情况下，我的网络服务器上的 /var/log/salt/minion 文件有时会爆炸，迅速填满我的 250GB 磁盘空间。发生这种情况时查看日志，这是一个反复抱怨没有驱动器空间的进程。我无法回到驱动器空间填满之前发生的事情。最终结果是服务器死了。它不能响应网络请求或做任何有用的事情。我很幸运可以通过 SSH 连接到服务器。

我的解决方案很糟糕。我有一个 cron 作业，每 5 分钟检查一次文件的大小。如果大于 1GB，我会删除该文件。结果是我真的没有办法知道是什么导致了日志文件的大小爆炸。但是，这是一个生产服务器。当我四处闲逛时，我不能让它连续几个小时下降。

是的 - 我有镜像服务器。都是运行 HTTPD24 的 RHEL7。一切都是彼此真正的镜子。它们都受到 /var/log/salt/minion 文件大小随机爆炸的影响。因此，当一个服务器宕机时，负载均衡器会将流量转移到其他服务器。

我想要的是一种限制日志文件大小的方法。我过去从来没有用盐或奴才做过任何事情。我没有安装它。它与 RHEL7 一起提供。我已经用谷歌搜索了几个星期，但我没有看到任何东西可以解释究竟是什么将日志发送到了 minion 文件以及如何告诉它我真的不需要这些日志。所以，不要这样做。我也找不到其他有这个问题的人。所以，我认为这是另一个“只有我”的问题。这就是我专注于直接解决方案的原因：不要让日志文件的大小爆炸，填满驱动器，然后终止服务器。

Answer 1

要回答表面问题：调整您的 logrotate 配置。一些RHEL-specific guidance。

然而，根本问题是您没有正确配置您的生产系统。避免此问题的一些常见策略：

1. 单独的分区。所以灌装一个不会杀死整台机器。常见的安排是为 /、/var 和 /var/log 单独分区，但这取决于您的应用程序。
2. 系统监控。因此，您可以查看磁盘使用趋势并在为时已晚之前收到警报。例如使用 Elastic、Nagios、Zabbix 等。
3. 外部日志记录。因此，即使服务器无法访问或您在本地删除了它们，您仍然可以查看过去的日志。例如远程syslog或Elastic等
4. 应用程序配置。因此，仅启用了您需要的最低日志级别，并且它们使用适当的文件位置和输出来处理上述内容。