【问题标题】:Airflow ECS-Operator not fetching CloudWatch LogsAirflow ECS-Operator 未获取 CloudWatch Logs
【发布时间】:2022-11-03 03:29:50
【问题描述】:
我正在使用 Airflow 的 EcsOperator,ECS 任务写入 Cloudwatch。
有时 Airflow 日志提取器会从 CloudWatch 收集日志,有时不会。
在 CloudWatch 控制台上,我总是能看到日志。
在需要很长时间的任务上,我通常会看到日志或至少其中的一部分。
有人对 ECSOperator 有同样的问题吗?
【问题讨论】:
标签:
airflow
amazon-ecs
amazon-cloudwatch
【解决方案1】:
第一个 ECSOperator 在提供程序版本 5.0.0 中已弃用并删除
你应该切换到EcsRunTaskOperator。
在EcsRunTaskOperator 中有awslogs_fetch_interval 控制从Ecs 获取日志的时间间隔。默认值为 30 秒。
您没有提及您使用的提供商版本,但这部分代码在 5.0.0 版 (PR) 中进行了重构,因此升级亚马逊提供商也可能解决您的问题。