寻找一种更好的方法来可视化 AWS 上的数据湖管道

Question

我正在 aws 上构建一个数据湖管道，其中包括许多 AWS 服务，如 s3、cloudwatch、lambda、glue crawler、glue job 等。管道流程的工作方式如下：

- cloudwatch schedule a cron job to trigger a lambda to fetch external data and save them in s3 bucket. 
- a lambda will be triggered whenever a file is uploaded to the s3 bucket who trigger a glue crawler
- cloudwatch listen on glue crawler state change and trigger a lambda which calls a glue job to do data ETL

它运行良好，但我觉得很难监控整个过程。我唯一能得到的是保存在 cloudwatch 中的日志和一些通知/警报。有没有更好的方法来监控这条管道？就像在工作流程图中查看它以查看每次执行的时间一样。

Answer 1

您可以尝试 AWS X-Ray。 AWS X-Ray 帮助开发人员分析和调试生产、分布式应用程序，例如使用微服务架构构建的应用程序。它在用户请求通过您的整个应用程序时跟踪它们。它聚合了组成应用程序的各个服务和资源生成的数据，为您提供应用程序执行情况的端到端视图。在此处查看更多详细信息here。