处理 SQS 消息的最佳方式

Question

我有一个客户端，它不断地将半实时数据倒入一个 sqs 队列，并且想要处理和存储消息。我的第一个想法是使用 CloudWatch 调度程序，它会提示 Lambda 大约消息数量，然后 lambda 会生成工作 lambda 以处理数据并将数据推送到 Firehose。问题是每天都会有数十万条消息进入队列。我也可以使用 EC2 来执行此操作，但是否有任何其他经济高效的方式来半实时处理队列。

Answer 1

在 AWS Lambda 中处理流数据的推荐解决方案是将数据发送到 Amazon Kinesis，然后它可以自动触发 Lambda 函数。 Kinesis 还保留了消息的顺序。 （Amazon SQS 仅在您使用 FIFO 队列时保留排序，该队列具有吞吐量限制。）

如果您确实仅限于从 SQS 进行处理，您可以编写一个从 SQS 拉取并推送到 Kinesis 的程序，或者只是从 SQS 拉取并立即处理数据。这样的程序可以在 Amazon EC2 实例上运行，也可以由计划的 Amazon CloudWatch 事件定期触发。

要考虑的主要问题是如何处理可变数量。如果您无法接受消息到达和处理之间的长时间延迟，您将需要使用 Lambda（自动扩展）或有足够的可用处理能力来处理峰值。