【问题标题】:awslogs agent can't keep upawslogs 代理跟不上
【发布时间】:2017-10-23 23:36:21
【问题描述】:

我在服务器上运行 awslogs agent,当我在 AWS 控制台中查看 CloudWatch 日志时,日志大约晚了 60 分钟。我们的服务器每小时产生大约 650MB 的数据,代理似乎跟不上。

这是我们的缩写配置文件:

[application.log]
datetime_format = %Y-%m-%d %H:%M:%S
time_zone = UTC
file = var/output/logs/application.json.log*
log_stream_name = {hostname}
initial_position = start_of_file
log_group_name = ApplicationLog

[service_log]
datetime_format = %Y-%m-%dT%H:%M:%S
time_zone = UTC
file = var/output/logs/service.json.log*
log_stream_name = {hostname}
initial_position = start_of_file
log_group_name = ServiceLog

有没有一种通用的方法来加快 awslogs 代理的速度?

【问题讨论】:

    标签: amazon-web-services logging amazon-cloudwatch amazon-cloudwatchlogs


    【解决方案1】:

    数据量 (> 0.2MB/s) 对代理来说不是问题。该代理的每个日志文件的容量约为 3MB/s。但是,如果您对多个日志文件使用相同的日志流,代理会写入相同的流,最终会相互阻塞。当您在日志文件之间共享流时,吞吐量会减半。

    另外,还有a few properties可以配置,可能会影响性能:

    buffer_duration = <integer>
    batch_count = <integer>
    batch_size = <integer>
    

    为了解决我的问题,我做了两件事:

    1. 大幅增加批量大小(默认为 32768 字节)
    2. 为每个日志文件使用不同的日志流

    而且特工跟上也没问题。这是我的最终配置文件:

    [application.log]
    datetime_format = %Y-%m-%d %H:%M:%S
    time_zone = UTC
    file = var/output/logs/application.json.log*
    log_stream_name = {hostname}-app
    initial_position = start_of_file
    log_group_name = ApplicationLog
    batch_size = 524288
    
    [service_log]
    datetime_format = %Y-%m-%dT%H:%M:%S
    time_zone = UTC
    file = var/output/logs/service.json.log*
    log_stream_name = {hostname}-service
    initial_position = start_of_file
    log_group_name = ServiceLog
    batch_size = 524288
    

    【讨论】:

    • 我注意到您正在记录 json 数据。你能用 Cloudwatch 日志解析它吗?
    • CloudWatch 对 JSON 具有一流的支持。
    • 甜蜜。不知道!谢谢。
    【解决方案2】:

    awslogs 代理支持日志轮换 所以这个:

    file = var/output/logs/application.json.log*
    

    会拾取太多文件吗?

    试试:

    file = var/output/logs/application.json.log
    

    加快进程。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2017-12-11
      • 2020-10-10
      • 2023-02-24
      • 2018-07-26
      • 1970-01-01
      • 1970-01-01
      • 2015-04-13
      相关资源
      最近更新 更多