flink 可以运行多个同一个作业来实现伪动态缩放吗？

Question

我们正在研究如何对 flink 任务进行动态缩放。该任务即将在 kafka 主题中读取流式传输并执行...然后下沉到另一个 kafka 主题。我们知道必须先停止 flink 作业才能修改并行度，这不是我们想要的。

既然我们不能在不停止 flink 作业的情况下动态添加资源到任务中，我们是否可以复制 flink 作业（通过来自 kafka 主题的相同 groupid 消耗）以提高性能？此外，是否可以使用 yarn 或 kubernetes 来管理这些作业并为这样的 flink 任务（使用 kafka）实现伪动态缩放？

Answer 1

您是否有不想通过停止作业来修改并行度的原因？

您可以这样做，但是您实际上会在各种作业中拆分数据。因此，您不仅会承担现在需要了解跨多个作业的吞吐量以有效地自动缩放的成本，而且您会这样做，以便完成的任何有状态处理都会导致不正确/不一致的结果。