【问题标题】:How to split AWS CloudWatch Log streams?如何拆分 AWS CloudWatch 日志流?
【发布时间】:2020-05-21 13:00:02
【问题描述】:

有一组 AWS CloudWatch Logs,其中有多个线程。据我了解,每个线程都是来自单独服务器或容器的日志。 CloudWatch Log streams

我将整组日志放在 Kinesis Firehose 中,以将它们传送到 S3 存储桶。但在 Kinesis Firehose 内部,所有日志都合并为一个。如何将这些日志保存到 S3 存储中,以便每个线程都有自己的目录?

【问题讨论】:

  • 那么您的问题是关于拆分 cloudwatch 还是拆分 Firehose 扩展文件夹?

标签: amazon-web-services logging amazon-s3


【解决方案1】:

我找到了解决方案: 1) 我使用 Lambda 函数修改了 Kinesis Firehose 中的每个日志。我在日志行的末尾添加了一个标识符。然后它看起来像这样: Modified logs

2) 我创建了一个带有触发器的 Lambda 函数,该触发器在每次将日志写入 s3 存储桶时都起作用。在这个函数中,我根据之前添加到日志中的信息将日志分发到我需要的文件夹中。我不会给出这个 lambda 函数的代码。我已经描述了一般方法,我认为需要它的人可以弄清楚。

【讨论】:

    猜你喜欢
    • 2019-12-24
    • 2017-09-03
    • 1970-01-01
    • 2018-08-29
    • 1970-01-01
    • 1970-01-01
    • 2021-09-28
    • 2016-09-14
    • 2020-03-19
    相关资源
    最近更新 更多