存储日志的策略 - Splunk答案

【问题标题】：Strategy to store logs - Splunk存储日志的策略 - Splunk
【发布时间】：2022-08-04 21:29:46
【问题描述】：

目前，我们正在收集我们的应用程序日志并将其通过 Kafka 代理发送到 Splunk 进行日常监控，大约 > 80GB/天。我们付出高昂的代价将这些日志保存到 Splunk（90 天保留期）。

我们希望减少存储在 splunk 中的日志，这些日志对于我们的预算而言在财务上是可行的。还在探索，是否最好在 S3 等其他工具中创建一个单独的数据库，然后使用 splunk 查询该数据库以避免将日志直接存储到 Splunk？

【解决方案1】：

Splunk 曾经能够搜索 Hadoop 文件系统，但这种能力已经有几年没有得到支持了。现在，Splunk 将搜索的唯一地方是它自己的数据库。

如果您在 AWS 或 Google Cloud 中运行 Splunk，请考虑使用 SmartStore 将您的一些存储卸载到 S3（或 GCP 等效项）。这样可以省点钱。

要减少存储空间，请尝试减少摄入量。仅引入适合您的用例的数据。不要将调试日志添加到 Splunk。修剪其余部分以删除不需要的文本，尤其是在 Windows 事件日志中。

【讨论】：