【问题标题】:Lambda function delayed Kinesis stream processingLambda 函数延迟 Kinesis 流处理
【发布时间】:2015-09-17 12:48:05
【问题描述】:

我只是想知道 Kinesis 流是否可以进行延迟流处理? Lambda 函数是否可以实现这种延迟处理?

我想在关闭他的会话并处理他的数据之前,将用户在 5 分钟内的多次交互分组。因此,我会将会话的所有数据写入一个 Kinesis 流分区。

对我来说,目前还不清楚调用 Lambda 函数来消耗 Kinesis 流以及如何调整流消耗?

我可以按时间/数据块限制调整流消耗吗?

运动分区的消耗可以延迟吗?例如。在处理分区之前等待至少 5 分钟。

【问题讨论】:

  • 向 AWS 开具了支持票证。目前此类功能不可用,但在功能列表中。

标签: lambda queue amazon-kinesis


【解决方案1】:

这似乎是Kinesis Analytics 的理想案例。从他们的文档中:

Amazon Kinesis Analytics 使您能够快速编写 SQL 代码, 近乎实时地连续读取、处理和存储数据。 对流数据使用标准 SQL 查询,您可以构建 应用程序转换并深入了解您的数据。

您可以设置一个应用程序来读取您的初始 Kinesis 流,使用 5 分钟的窗口根据需要聚合数据,然后将其提供给另一个 Kinesis 流进行进一步处理。

【讨论】:

  • 现在我使用循环运动流重新聚合和消耗自身直到超时来实现它。
【解决方案2】:

另一种选择是使用 Drools Kinesis Analytics。查看this question 并查看 Drools 的答案。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-03-28
    • 2015-10-26
    • 1970-01-01
    • 2019-01-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多