【问题标题】:AWS MSK trigger for Lambda `Batch Window` like configurationLambda `Batch Window` 的 AWS MSK 触发器,如配置
【发布时间】:2022-08-04 21:25:10
【问题描述】:

MSK 用作事件源的批处理窗口是什么?似乎支持将 SQS 的 Batch WindowMaximumBatchingWindowInSeconds 作为事件源,但是如何为 MSK 源的 lambda 提供相同的参数

https://docs.aws.amazon.com/lambda/latest/dg/with-sqs.html

这是否意味着 MSK 将无限期地等待填写 BatchSize

    标签: amazon-web-services aws-lambda aws-msk


    【解决方案1】:

    是的,有一个选项可以设置批处理窗口用于 MSK 触发器。创建触发器时,您可以在 lambda 控制台上自行设置批处理窗口和批处理大小。 在内部,它是一个事件源映射,它使用这些设置轮询来自主题的消息。想象一个内部消费者正在消费这些消息,一旦达到阈值,另一个进程就会调用 lambda 函数。 这里的阈值可以定义为:

    1. 达到设置的批量大小。
    2. 或到达批处理窗口。
    3. 或收集的事件大小达到 6MB。在这种情况下,最后一条消息被丢弃并在下一批中轮询。

      PS:通过事件源映射的事件轮询是一个同步的过程。只要 lambda 没有成功退出执行,就不会提交整个批偏移量。它会在此持续时间内阻止该特定分区上的执行。

      来自 AWS Docs- https://aws.amazon.com/blogs/compute/introducing-aws-lambda-batching-controls-for-message-broker-services/

    【讨论】:

      猜你喜欢
      • 2021-07-17
      • 2022-06-14
      • 2021-11-10
      • 2021-05-07
      • 2022-07-27
      • 1970-01-01
      • 2019-01-11
      • 2023-01-03
      • 2020-05-17
      相关资源
      最近更新 更多