【问题标题】:AWS CloudWatch Logs to ELKAWS CloudWatch 日志到 ELK
【发布时间】:2020-03-19 11:26:28
【问题描述】:

我计划将 AWS CloudWatch 日志复制到 ELK,并希望使用 Kibana Dashboard 可视化日志。

一种选择是将日志从 CloudWatch 流式传输到 ELK。

https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_ES_Stream.html

但我觉得这将涉及大量执行 Lambda 函数,这可能不是一个具有成本效益的选择。

是否有任何其他经济有效的方法可以将日志从 CloudWatch 复制到 S3,然后再复制到 ELK?

我很好,如果日志不是实时的,可能延迟 15 分钟或一小时即可。

但我正在寻找一种具有成本效益的解决方案。

顺便说一句,定期清除 CloudWatch 日志的最佳方法是什么? (可能一周后)

【问题讨论】:

    标签: amazon-web-services amazon-s3 aws-lambda amazon-cloudwatch elk


    【解决方案1】:

    首先,您可以为您的 cloudwatch 日志设置retention policy。默认情况下它是无限期的,但您可以将其设置为您提到的 7 天。

    其次,在我看来,lambda 是一种将日志摄取到您的弹性搜索域的经济有效的选择。

    其他选项,我可以这样想:

    • 带有日志存储的 ec2 实例从 cloudwatch 读取日志并将其提取到 elasticsearch。
    • 或许您可以使用 aws batch 进行扩展

    【讨论】:

      猜你喜欢
      • 2019-04-13
      • 2015-11-23
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-01-25
      • 1970-01-01
      • 2016-11-27
      相关资源
      最近更新 更多