Apache Flink - 检查点数据大小随着时间的推移而增加

Question

我在我的 Flink 应用程序（版本 1.11.1）中使用事件时间语义，该应用程序在 AWS 中运行 - 运动分析。此应用程序的源为 kinesis 流，接收器为 Postgres。当在 notifyCheckpointComplete() 上触发 DB 接收器时，检查点间隔为 10 秒。 在将不同的流下沉到 Postgres 之前，我使用多个 CoProcessFunction 和 ValueState 来连接不同的流。

观察是检查点数据大小在一段时间内不断增长，而线程数和堆内存利用率保持不变。 CPU 利用率不超过 30%。我希望检查点数据大小最终会趋于稳定。

在浏览有关状态 TTL 的 flink 文档时，似乎当前状态 ttl 仅支持处理时间语义 - State Time-To-Live (TTL)

基于 Event Time 的 Flink 应用的发展方向是什么？

Answer 1

您仍然可以使用状态 TTL。只是状态保留间隔必须用挂钟时间来表示，而不是与事件中的时间戳相关。

但是，如果您想更好地控制清除状态的时间和方式，可以使用 CoProcessFunctions 中的计时器来触发对 clear 的显式调用。