数据平台监控工具选项

Question

我们有基于 aws 的数据管道，其中包含不同的组件，例如用于 spark 作业的 kinesis lambda firehose s3 dynamodb 和 emr。 我们需要在所有这些组件上实施监控系统，主要监控每个点的处理时间以及是否存在瓶颈。

如果有人实施了这样的监控系统，请指导一下。我对构建基于 prometheus 和 grafana 的系统更感兴趣

Answer 1

您可以使用 Cloudwatch 导出器将指标传输到 Prometheus 服务器。

有 2 个主要的 Cloudwatch 出口商：

• Cloudwatch exporter：“官方”版本，用 Java 编写。主要缺点是它没有实现 GetMetricsData API 调用，因此如果命名空间中有很多资源，它会引发 API 限制。
• Yet another Cloudwatch Exporter：这是用 Go 编写的，实现了 GetMetricsData，它允许在单个 API 调用中发出多达 500 个指标请求。

两者的配置相似，并且在存储库中有配置文件可用作示例。

AWS 有一个关于using GetMetricsData instead of GetMetricStatistics 的便利性的文档。

Answer 2

对于您的 AWS 服务，您可以使用 CloudWatch 和 CloudTrail 进行监控。对于 Apache Spark，您还可以使用 Spark Web UI。