当 Glue 作业失败时，glue.driver.aggregate.numFailedTasks CloudWatch 指标不会记录失败答案

【问题标题】：glue.driver.aggregate.numFailedTasks CloudWatch metric doesn't log failure when Glue job fails当 Glue 作业失败时，glue.driver.aggregate.numFailedTasks CloudWatch 指标不会记录失败
【发布时间】：2022-06-16 03:37:14
【问题描述】：

我有一个 Glue PySpark 作业，它在大约 2 分钟后失败，AnalysisException 和 Failed 的运行状态。我想为 CloudWatch 警报检测它。在 CloudWatch 指标中，我希望它在此期间记录的计数为 1，但它记录的是 0。我正在使用以下指标配置：

   MetricName: glue.driver.aggregate.numFailedTasks
   JobRunId: ALL
   JobName: <MyGlueJobName>
   Statistic: Sum
   Period: 1 min
   Type: Count

似乎其他指标正在发挥作用，例如glue.driver.jvm.heap.used 但不是numFailedTasks。我做错了吗？

【问题讨论】：

标签： amazon-web-services amazon-cloudwatch aws-glue

【解决方案1】：

我设法解决此问题的唯一方法是创建自定义指标。我使用put_metric_data 创建了一个指标。我在 pyspark 脚本中引发异常时调用它。

【讨论】：

【解决方案2】：

我们的胶水作业也有类似的问题/要求。我们有很多工作，需要监控成功和失败。我们还经历过内置指标并不可靠。但即使他们是，他们也没有真正回答工作是否成功的问题。通过以通用方式为所有工作生成自定义指标，我们为我们找到了一个好方法。这也适用于之后的现有工作，而无需更改代码。我写了一篇关于它的文章：https://medium.com/@ettefette/metrics-for-aws-glue-jobs-as-you-know-them-from-lambda-functions-e5e1873c615c

【讨论】：