配置 SQS 死信队列以在收到消息时引发云监视警报

Question

我在 Amazon SQS 中使用死信队列。我希望每当队列收到新消息时，它都应该引发 CloudWatch 警报。问题是我在指标上配置了一个警报：队列的number_of_messages_sent，但是在Amazon SQS Dead-Letter Queues - Amazon Simple Queue Service 文档中提到的死信队列的情况下，此指标无法按预期工作。

现在对此的一些建议是使用number_of_messages_visible，但我不确定如何在警报中配置它。因此，如果我设置此 metric>0 的值，那么这与在队列中获取新消息不同。如果有旧消息，则度量值将始终为>0。我可以做一些数学表达式来获得这个指标在某个定义的时间段内的增量（比如说一分钟），但我正在寻找一些更好的解决方案。

Answer 1

我遇到了同样的问题，而我的答案是改用 NumberOfMessagesSent。然后我可以为在我配置的时间段内收到的新消息设置我的标准。这就是在 CloudFormation 中对我有用的方法。

请注意，如果警报因持续故障而保持警报状态，则不会发生单独的警报。您可以设置另一个警报来捕捉这些警报。 ie: 1小时内出现100个错误时报警。

已更新：由于 NumberOfMessagesReceived 和 NumberOfMessagesSent 的指标取决于如何消息排队，因此在向 dlq 设置添加延迟后，我使用指标 ApproximateNumberOfMessagesDelayed 为我们的需求设计了一个新的解决方案。如果您手动将消息添加到队列中，则 NumberOfMessagesReceived 将起作用。否则在设置延迟后使用 ApproximateNumberOfMessagesDelayed。

MyDeadLetterQueue:
    Type: AWS::SQS::Queue
    Properties:
      MessageRetentionPeriod: 1209600  # 14 days
      DelaySeconds: 60 #for alarms

DLQthresholdAlarm:
 Type: AWS::CloudWatch::Alarm
    Properties:
      AlarmDescription: "Alarm dlq messages when we have 1 or more failed messages in 10 minutes"
      Namespace: "AWS/SQS"
      MetricName: "ApproximateNumberOfMessagesDelayed"
      Dimensions:
        - Name: "QueueName"
          Value:
            Fn::GetAtt:
              - "MyDeadLetterQueue"
              - "QueueName"
      Statistic: "Sum"
      Period: 300  
      DatapointsToAlarm: 1 
      EvaluationPeriods: 2       
      Threshold: 1
      ComparisonOperator: "GreaterThanOrEqualToThreshold"
      AlarmActions:
        - !Ref MyAlarmTopic

Answer 2

我们遇到了同样的问题，并通过使用 2 个指标并创建一个数学表达式来解决它。

    ConsentQueue:
        Type: AWS::SQS::Queue
        Properties:
            QueueName: "queue"
            RedrivePolicy:
                deadLetterTargetArn:
                    Fn::GetAtt:
                        - "DLQ"
                        - "Arn"
                maxReceiveCount: 3 # after 3 tries the event will go to DLQ
             VisibilityTimeout: 65
    DLQ:
        Type: AWS::SQS::Queue
        Properties:
            QueueName: "DLQ"

    DLQAlarm:
        Type: AWS::CloudWatch::Alarm
        Properties:
            AlarmDescription: "SQS failed"
            AlarmName: "SQSAlarm"
            Metrics:
            - Expression: "m2-m1"
              Id: "e1"
              Label: "ChangeInAmountVisible"
              ReturnData: true
            - Id: "m1"
              Label: "MessagesVisibleMin"
              MetricStat:
                  Metric:
                      Dimensions:
                      - Name: QueueName
                        Value: !GetAtt DLQ.QueueName
                      MetricName: ApproximateNumberOfMessagesVisible
                      Namespace: "AWS/SQS"
                  Period: 300 # evaluate maximum over period of 5 min
                  Stat: Minimum
                  Unit: Count
              ReturnData: false
            - Id: "m2"
              Label: "MessagesVisibleMax"
              MetricStat:
                  Metric:
                      Dimensions:
                      - Name: QueueName
                        Value: !GetAtt DLQ.QueueName
                      MetricName: ApproximateNumberOfMessagesVisible
                      Namespace: "AWS/SQS"
                  Period: 300 # evaluate maximum over period of 5 min
                  Stat: Maximum
                  Unit: Count
              ReturnData: false
            ComparisonOperator: GreaterThanOrEqualToThreshold
            Threshold: 1
            DatapointsToAlarm: 1
            EvaluationPeriods: 1

周期很重要，因此最小值和最大值是在更长的周期内评估的。

Answer 3

很难实现问题中提出的问题。如果 cloudwatch 警报的端点是发送电子邮件或通知用户 DLQ 消息到达，您可以在 SQS、SNS 和 Lambda 的帮助下做类似的事情。通过 cloudwatch，您可以看到每当您收到任何电子邮件时 DLQ 消息如何按时增长。

1. 为现有队列创建 SQS DLQ。
2. 创建一个 SNS 主题并订阅该 SNS 主题以发送电子邮件。
3. 创建一个小型 lambda 函数，用于侦听 SQS 队列中的传入消息，如果有任何新传入消息，则将其发送到 SNS。由于 SNS 订阅了电子邮件，因此每当有新消息进入 SQS 队列时，您都会收到电子邮件。显然，lambda 函数的触发器是 SQS，batch size 是 1。

#!/usr/bin/python3
import json
import boto3
import os

def lambda_handler(event, context):
    batch_processes=[]
    for record in event['Records']:
        send_request(record["body"])


def send_request(body):
    # Create SNS client
    sns = boto3.client('sns')

    # Publish messages to the specified SNS topic
    response = sns.publish(
        TopicArn=#YOUR_TOPIC_ARN
        Message=body,    
    )

    # Print out the response
    print(response)

Answer 4

我使用度量数学函数RATE 来在消息到达死信队列时触发警报。

为您的死信队列选择两个指标 ApproximateNumberOfMessagesVisible 和 ApproximateNumberOfMessagesNotVisible。

将度量表达式配置为RATE(m1+m2)，将阈值设置为0，并选择比较运算符为GreaterThanThreshold。

m1+m2 是给定时间队列中的消息总数。每当有新消息到达队列时，此表达式的速率将高于零。这就是它的工作原理。

Answer 5

我遇到了同样的问题，即当队列条目自动流入 DLQ 时 Cloudwatch 警报不会触发，我相信我已经找到了解决方案。

你需要设置：

• 考虑一个时间段，我设置了 5 分钟
• 通过 SQS 集合为您需要的 dlq 添加一个指标，然后选择“ApproximateNumberOfMessagesVisible”。将统计信息设置为最大值。
• 复制上述行，并将统计信息设置为最小值。
• 添加一个新的空表达式 Metric，详细信息为：（最大指标的 id）-（最小指标的 id）
• 确保只勾选并单击上面创建的新表达式的“选择指标”。

现在应该定期检查 DLQ 中条目数量的差异，无论它们是如何到达那里的，这样我们就可以绕过有问题的指标，例如 NumberOfMessagesSent 或 NumberOfMessagesReceived。

更新：我刚刚意识到这是 Lucasz 上面提到的确切解决方案，因此请认为这是对其有效的确认:)

Answer 6

您可以做的是创建一个带有事件源的 lambda 作为您的 DLQ。您可以从 Lambda 将自定义指标数据发布到 CloudWatch。当您的数据满足条件时将触发警报。

使用此参考配置您的 lambda，以便在向您的 DLQ 发送消息时触发它：Using AWS Lambda with Amazon SQS - AWS Lambda

这是一个很好的解释，其中包含代码，建议我们如何将自定义指标从 Lambda 发布到 CloudWatch：Sending CloudWatch Custom Metrics From Lambda With Code Examples

一旦发布指标，就会触发 CloudWatch 警报，因为它会匹配指标。