如何使用 flink 1.11 在 kubernetes 上扩展/缩减正在运行的 Flink 集群？

【问题标题】：How do scale up/down a running Flink cluster on kubernetes with flink 1.11?如何使用 flink 1.11 在 kubernetes 上扩展/缩减正在运行的 Flink 集群？
【发布时间】：2021-07-29 22:00:17
【问题描述】：

我在 Kubernetes 上运行 Flink，当我更新 TaskManager 部署的副本时，Kubernetes 会为我增加/减少 TM pod 的数量，但是当我检查 TM 已启动但新添加的 Tm 没有获得任何任务时不知道这是否就是我需要做的。 flink 1.11.3 版本中是否需要做其他事情才能让工作适应更多/更少的 TM

【问题讨论】：

标签： apache-flink kubernetes-helm flink-streaming

【解决方案1】：

要让它按您预期的方式工作，请升级到 Flink 1.13 并使用响应式模式。见https://flink.apache.org/2021/05/06/reactive-mode.html。

使用 Flink 1.11，您必须手动重新缩放，方法是从检查点或保存点重新启动，同时指定新的并行度。如果您使用的是native kubernetes deployment，Flink 将使用其 kubernetes 资源管理器，并自动创建适当数量的 pod。（请注意，自 1.11 以来，原生 kubernetes 部署也得到了改进。）另一方面，对于独立的 kubernetes 部署，Flink 不知道 kubernetes，您只能靠自己，需要手动创建正确数量的 pod。

【讨论】：

是的，我们可以更新到 1.13，但如果我没记错的话，iceberg 还不支持 1.13