【问题标题】:Handling possible duplicate messages when using AWS Kafka MSK with Lambda将 AWS Kafka MSK 与 Lambda 结合使用时处理可能的重复消息
【发布时间】:2022-06-17 02:24:06
【问题描述】:

我正在构建一个将由 AWS Kafka 流触发的 Lambda 函数。 我做了一些阅读,但找不到明确的答案是否可能会被 Lambda 消耗重复消息?

如果可能的话,有没有推荐的方法来避免重复消息?通过 Lambda 逻辑或 Kafka 配置?

提前致谢。

【问题讨论】:

  • 嗨,詹姆斯,谢谢。但由于我不控制 Kafka 端,那么似乎解决方案是将消息 id 存储在消费者端,并检查重复项?
  • 在某些情况下,我们会针对 dynamodb 表重复检查此类问题,因此我怀疑如果您无法控制 Kafka,您的思维方式是正确的。

标签: amazon-web-services aws-lambda aws-msk


【解决方案1】:

重复数据删除需要在您的 Lambda 函数中实施。您可以将消息 ID 存储在 Dynamo 中。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-08-07
    • 2021-02-07
    • 1970-01-01
    • 1970-01-01
    • 2019-07-02
    • 1970-01-01
    • 1970-01-01
    • 2021-05-07
    相关资源
    最近更新 更多