【发布时间】:2019-05-15 02:51:04
【问题描述】:
我目前正在为日窗口使用 Kafka 流式 DSL 抑制功能。我们可能会遇到这样一种情况,即某些事件可能会出现得很晚,超出了宽限期。
根据 kafka 流媒体文档,此类事件将被丢弃,这些事件不适合窗口。
请帮帮我。
1) 是否有可能在同一流程中获取此类丢弃的事件?
Apache flink 确实提供了对此类非常晚的事件的保留,并且想知道此类功能是否可用于流式传输。
2) 考虑到数以百万计的事件流经系统,使用 DSL-suppress for day window 将间歇性聚合数据保存在内存中的可行性如何?
任何时间线 kafka 流媒体社区都将很快提供 RockDB 支持,以避免由于内存不足而导致应用程序崩溃。
【问题讨论】: