Flink 输入速率控制

Question

我们正在使用 Flink 1.9.1。

我们有一个源、一个过程函数和一个接收器。应用程序消费和生产到 kinesis。

输入速率（由模拟器产生）为每秒 20 个事件。处理函数的每秒输出速率显示为每秒 14 个。源的背压指标显示为 OK（绿色）。事件计数（源发送的事件数）和流程函数接收的事件数也匹配，延迟非常小。

但是这个计数与模拟器推送的事件计数不匹配。此计数与每秒 14 次的速率相匹配。

现在我的问题是，Flink 会自动调节输入速率吗？ 就我而言，如何将输入速率控制在每秒 14 次？ 如果不是，我是否应该查看我遗漏的任何其他指标？

Answer 1

无法强制 Flink 管道以特定速率消耗事件。根据设计，网络堆栈中的缓冲有限，执行图中最慢的任务将决定管道消耗和处理事件的速率。

背压监测（即绿色 OK 信号）并不是确定是否出现背压的权威指南。只要工作能够稳步推进，可能并不代表有问题。您可以检查一些网络队列指标以获得更多信息：例如，inPoolUsage、outPoolUsage、inputQueueLength。有关此主题的更多信息，请参阅 Flink Network Stack Vol. 2: Monitoring, Metrics, and that Backpressure Thing。

每秒 20 个事件似乎很慢，所以我有点惊讶，有些东西跟不上那个速度，但这似乎就是正在发生的事情。